Enviar pesquisa
Carregar
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
•
1 gostou
•
3,086 visualizações
Chigusa Junichiro
Seguir
Mobility Technologiesにてtrocco・Lookerをどのように運用しているかについて話しています。
Leia menos
Leia mais
Internet
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 30
Baixar agora
Baixar para ler offline
Recomendados
ドライブレコーダの画像認識による道路情報の自動差分抽出
ドライブレコーダの画像認識による道路情報の自動差分抽出
Tetsutaro Watanabe
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
Recomendados
ドライブレコーダの画像認識による道路情報の自動差分抽出
ドライブレコーダの画像認識による道路情報の自動差分抽出
Tetsutaro Watanabe
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
Takeshi Suzuki
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
ナレッジグラフとオントロジー
ナレッジグラフとオントロジー
University of Tsukuba
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
DeNA
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Norishige Fukushima
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
Hironori Washizaki
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
オーバーエンジニアリングって何? #devsumi #devsumiA
オーバーエンジニアリングって何? #devsumi #devsumiA
Ore Product
エンジニアも知っておきたいAI倫理のはなし
エンジニアも知っておきたいAI倫理のはなし
Yasunori Nihei
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
Takahiro Kubo
Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門
Shohei Hido
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
Yusuke Uchida
分析手法のご紹介
分析手法のご紹介
Recruit Technologies
データ定義情報の管理とWebによる公開
データ定義情報の管理とWebによる公開
Recruit Technologies
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
株式会社MonotaRO Tech Team
Mais conteúdo relacionado
Mais procurados
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
Takeshi Suzuki
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
ナレッジグラフとオントロジー
ナレッジグラフとオントロジー
University of Tsukuba
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
DeNA
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Norishige Fukushima
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
Hironori Washizaki
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
オーバーエンジニアリングって何? #devsumi #devsumiA
オーバーエンジニアリングって何? #devsumi #devsumiA
Ore Product
エンジニアも知っておきたいAI倫理のはなし
エンジニアも知っておきたいAI倫理のはなし
Yasunori Nihei
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
Takahiro Kubo
Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門
Shohei Hido
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
Yusuke Uchida
分析手法のご紹介
分析手法のご紹介
Recruit Technologies
Mais procurados
(20)
Data-Centric AI開発における データ生成の取り組み
Data-Centric AI開発における データ生成の取り組み
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Data-Centric AIの紹介
Data-Centric AIの紹介
MLOpsはバズワード
MLOpsはバズワード
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
AWSで作る分析基盤
AWSで作る分析基盤
ナレッジグラフとオントロジー
ナレッジグラフとオントロジー
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
協調フィルタリング入門
協調フィルタリング入門
オーバーエンジニアリングって何? #devsumi #devsumiA
オーバーエンジニアリングって何? #devsumi #devsumiA
エンジニアも知っておきたいAI倫理のはなし
エンジニアも知っておきたいAI倫理のはなし
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門
全力解説!Transformer
全力解説!Transformer
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
分析手法のご紹介
分析手法のご紹介
Semelhante a Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
データ定義情報の管理とWebによる公開
データ定義情報の管理とWebによる公開
Recruit Technologies
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
株式会社MonotaRO Tech Team
WebDB Forum 2013
WebDB Forum 2013
Recruit Technologies
ドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologies
Kazuyuki Miyazawa
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開
Miki Yutani
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
SORACOM,INC
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Io tビジネスモデルに関する考察20161119
Io tビジネスモデルに関する考察20161119
Keiichiro Nabeno
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
Makoto Shimizu
Cloudfit 会社紹介
Cloudfit 会社紹介
Yuki Senuma
r2ishikawa_mimoto
r2ishikawa_mimoto
i Smart Technologies
信頼できるAIシステム開発の勘どころ ~AI開発方法論×AI品質保証~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
信頼できるAIシステム開発の勘どころ ~AI開発方法論×AI品質保証~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
交通ビッグデータ分析の事例紹介と活用に向けた議論@交通関連ビッグデータの社会への実装研究小委員会
交通ビッグデータ分析の事例紹介と活用に向けた議論@交通関連ビッグデータの社会への実装研究小委員会
Kohei Ota
DVP決済実現に向けた挑戦 | 世取山 進二(株式会社NTTデータ 金融事業推進部 デジタル戦略推進部 部長)
DVP決済実現に向けた挑戦 | 世取山 進二(株式会社NTTデータ 金融事業推進部 デジタル戦略推進部 部長)
blockchainexe
MLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考える
Takashi Suzuki
Azureクラウドのネイティブアプリ、IoTとエッジAIの管理ソリューション
Azureクラウドのネイティブアプリ、IoTとエッジAIの管理ソリューション
Jingun Jung
NRIセキュアが考える持続可能なID&アクセス管理基盤の実現
NRIセキュアが考える持続可能なID&アクセス管理基盤の実現
Tatsuo Kudo
RWC2012(松江市&テクノプロジェクト)
RWC2012(松江市&テクノプロジェクト)
Techno Project Co., Ltd.
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
Company Profile 2013 recruit
Company Profile 2013 recruit
Satoshi Matsumoto
Semelhante a Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
(20)
データ定義情報の管理とWebによる公開
データ定義情報の管理とWebによる公開
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
datatech-jp Casual Talks #5_データ基盤の立ち位置を考えるのに チームトポロジーの概念を活用した話
WebDB Forum 2013
WebDB Forum 2013
ドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologies
IoTとAIが牽引するエンタープライズシステムの新展開
IoTとAIが牽引するエンタープライズシステムの新展開
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
Io tビジネスモデルに関する考察20161119
Io tビジネスモデルに関する考察20161119
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
Cloudfit 会社紹介
Cloudfit 会社紹介
r2ishikawa_mimoto
r2ishikawa_mimoto
信頼できるAIシステム開発の勘どころ ~AI開発方法論×AI品質保証~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
信頼できるAIシステム開発の勘どころ ~AI開発方法論×AI品質保証~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
交通ビッグデータ分析の事例紹介と活用に向けた議論@交通関連ビッグデータの社会への実装研究小委員会
交通ビッグデータ分析の事例紹介と活用に向けた議論@交通関連ビッグデータの社会への実装研究小委員会
DVP決済実現に向けた挑戦 | 世取山 進二(株式会社NTTデータ 金融事業推進部 デジタル戦略推進部 部長)
DVP決済実現に向けた挑戦 | 世取山 進二(株式会社NTTデータ 金融事業推進部 デジタル戦略推進部 部長)
MLプロジェクトのリリースフローを考える
MLプロジェクトのリリースフローを考える
Azureクラウドのネイティブアプリ、IoTとエッジAIの管理ソリューション
Azureクラウドのネイティブアプリ、IoTとエッジAIの管理ソリューション
NRIセキュアが考える持続可能なID&アクセス管理基盤の実現
NRIセキュアが考える持続可能なID&アクセス管理基盤の実現
RWC2012(松江市&テクノプロジェクト)
RWC2012(松江市&テクノプロジェクト)
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Company Profile 2013 recruit
Company Profile 2013 recruit
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
1.
Mobility Technologies Co.,
Ltd. データ分析基盤・データ利活用事例のご紹介 2020/12/8 株式会社Mobility Technologies AI技術開発部 鳩 英嗣 プロダクトマネジメント部 千種 純一郎
2.
Mobility Technologies Co.,
Ltd.2 1 当社ご紹介 Agenda 2 データ収集方式 3 Looker運用事例
3.
Mobility Technologies Co.,
Ltd. 鳩 英嗣(はと ひでつぐ) おしごと歴 ● 客先常駐でインフラ構築・保守業務に従事 ● 直近はデータ分析基盤の保守運用 ○ より広い領域でデータエンジニアリングに携わりたくなる ● データ利活用進んでいるMobility Technologiesにデータエンジニアとして ジョイン(←イマココ) 自己紹介 3
4.
Mobility Technologies Co.,
Ltd. 当社ご紹介 4 01
5.
Mobility Technologies Co.,
Ltd. Mobility Technologies社のご紹介 5 タクシー (基点) 交通 社会 事 業 領 域 の 拡 が り 事業領域 実現したい姿 社会課題への取り組み 交通課題の解決 タクシー産業の課題解決 「移動で人を幸せに。」 タクシーを起点に交通課題・社会課題に取り組んでいく
6.
Mobility Technologies Co.,
Ltd. Mobility Technologiesの事業ご紹介 6 1. 配車関連事業 2. 広告決済事業 3. 乗務員向け ソリューション事業 4. DRIVE CHART ・ドラレコ事業 5. 次世代向けR&D事業
7.
Mobility Technologies Co.,
Ltd. 出資受けました 7 ■ 2020年の資金調達額は最大266億円 ■ 国内スタートアップ想定時価総額ランキング 8位
8.
Mobility Technologies Co.,
Ltd. データ収集方式 8 02
9.
Mobility Technologies Co.,
Ltd. 保有データ ● 配車アプリ注文ログ ● 決済サービス利用ログ ● タクシー車両位置情報・状態データ データ利活用 ● アドホック分析 ● BIレポート作成、定期配信 ● サービスへの貢献 ○ タクシー到着時間予測 ○ 「希望日時配車」・「優先パス」(NEW!!) 保有データとデータ利活用 9
10.
Mobility Technologies Co.,
Ltd. データパイプライン外観 10 AWS Amazon Kinesis Data Streams AWS Lambda Azure GCP BigQuery WebAPI実行 車両データ 各プロダクト DB JapanTaxi アプリDB Cloud Composer ワークフロー エンジン マート作成 DataTransfer レポート配信
11.
Mobility Technologies Co.,
Ltd. データ収集方式 1/3 11 AWS Amazon Kinesis Data Streams AWS Lambda Azure GCP BigQuery WebAPI実行 車両データ 各プロダクト DB JapanTaxi アプリDB Cloud Composer ワークフロー エンジン マート作成 DataTransfer レポート配信 GCPの仕組みで そのままデータ収集
12.
Mobility Technologies Co.,
Ltd. データ収集方式 2/3 12 AWS Amazon Kinesis Data Streams AWS Lambda Azure GCP BigQuery WebAPI実行 車両データ 各プロダクト DB JapanTaxi アプリDB Cloud Composer ワークフロー エンジン マート作成 DataTransfer レポート配信 リアルタイムでデータ量が多いデータ収集 → スクラッチ実装
13.
Mobility Technologies Co.,
Ltd. データ収集方式 3/3 13 AWS Amazon Kinesis Data Streams AWS Lambda Azure GCP BigQuery WebAPI実行 車両データ 各プロダクト DB JapanTaxi アプリDB Cloud Composer ワークフロー エンジン マート作成 DataTransfer レポート配信 SQLでのデータ収集 → ETL製品を利用
14.
Mobility Technologies Co.,
Ltd. ● システム管理運用コストを抑えたい ○ マネージドな製品であること ○ マルチクラウド環境な取得元のデータ収集を単一の製品で実現出来 ること ● 新規データ収集をクイックに実現出来ること ● 学習コストが低いこと ○ SQLが書けさえすればエンジニアでなくてもETLが組めるレベル ETL製品でtroccoを選んだ理由 14
15.
Mobility Technologies Co.,
Ltd. ● 元々Embulkに馴染みがありスムーズに移行出来た ● サポートが手厚い ○ 問い合わせへの回答スピード速 ○ Embulkプラグイン迅速な追加 ○ 当社の要件に合わせて一緒に機能拡張の検討してくれる troccoを使ってみて感じていること 15
16.
Mobility Technologies Co.,
Ltd. Looker運用事例 16 03
17.
Mobility Technologies Co.,
Ltd. 名前: 千種 純一郎 前職: 客先常駐で広告データの分析 現職: 2019年8月にJapanTaxi (現: Mobility Technologies)に入社 データアナリスト 趣味: 野球観戦 自己紹介 17
18.
Mobility Technologies Co.,
Ltd. ● レポートしている内容 ○ 事業KPIに関わる数字 ○ 異常検知のモニタリング ● レポートを見ている人 ○ 事業に関わるチーム ○ 経営陣 レポートしている内容と見ている人 18 レポートが出ていないと会長から即レス
19.
Mobility Technologies Co.,
Ltd.19 Lookerを導入した理由
20.
Mobility Technologies Co.,
Ltd.20 1 KPIを始めとする各種指標の算出定義を統一 導入理由 2 ダッシュボードの変更履歴管理 3 BIツール単体でのslack配信
21.
Mobility Technologies Co.,
Ltd.21 LookMLによりダッシュボード毎で指標の算出定義が違う問題を解消 1 KPIを始めとする各種指標の算出定義を統一 BQ A B 以前のBIツール (人によって定義がバラバラに) ダッシュ ボード1 ダッシュ ボード2 Looker (LookMLで定義を統一) BQ B ダッシュボー ド1 ダッシュボー ド2 A LookML
22.
Mobility Technologies Co.,
Ltd.22 ダッシュボードの変更をGit管理することで解消 2 ダッシュボードの変更履歴管理 ⇒ 1ヶ月に1回、ダッシュボードをjsonに変換したもの のバックアップを取っている
23.
Mobility Technologies Co.,
Ltd.23 3 BIツール単体でのslack配信 以前のBIツール Looker Looker単体でslack配信することが可能 BIツール 別の配信 ツール Slack Looker Slack
24.
Mobility Technologies Co.,
Ltd.24 ただ、Lookerにして 出来なくなったこともあります
25.
Mobility Technologies Co.,
Ltd.25 レポート再配信機能 ⇒ Lookerは豊富なAPIを提供していて、工夫次第で柔軟な運用ができるため レポートの配信エラーが出た際の再送信を出来る仕組みを自前で構築 詳細: https://lab.mo-t.com/blog/looker-scheduled-reporting Lookerにして出来なくなったこと
26.
Mobility Technologies Co.,
Ltd.26 ノウハウを共有する工夫 ⇒ LookML Best Practicesを元に自分たちの環境にあったお作法に編集 LookML Best Practices: https://community.looker.com/lookml-5/lookml-best-practices-1636 全社での利活用を目指して
27.
Mobility Technologies Co.,
Ltd.27 Looker Viewer ⇒ 内製BIツールに慣れたユーザーの体験を維持しLookerへの移行を行うために開発 全社での利活用を目指して
28.
Mobility Technologies Co.,
Ltd.28 ■ Looker導入理由 ■ KPIを始めとする各種指標の算出定義を統一 ■ ダッシュボードの変更履歴管理 ■ BIツール単体でslack配信 ■ Lookerにして出来なくなったこと ■ レポート再送信機能 ⇒ 自前で作ることで機能を補う ■ 全社での利活用を目指して ■ ノウハウを共有する工夫 ■ Looker Viewer まとめ
29.
Mobility Technologies Co.,
Ltd. 一緒に働きましょう!!
30.
confidential 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Mobility Technologies Co.,
Ltd. 30
Baixar agora