データエンジニアとデータアナリストを兼任して良かったこと

Proprietary and Confidential ©2020 JapanTaxi, Inc. All Rights Reserved
第2回データアーキテクト
（データ整備人）を
”前向きに”考える会
「データエンジニアとデータアナリストを
兼任して良かったこと」
2020.02.06
JapanTaxi株式会社
マーケティング部
BIグループ
伊田正寿

2
自己紹介
名前：伊田正寿 / mida(Twitter)
年齢：34歳
前職：
- 中小SIerのSEとしてDWHからBIの構築/客先常駐でO2Oアプリの分析
- 院外処方分析を展開するベンチャーのデータエンジニア
現職：2018年9月JapanTaxi株式会社に入社
データエンジニア / データアナリストを兼任（データアーキテクトと名乗っていいでしょうか）
(JDLA E資格持ってます)

3
今日話すこと
会社、組織、
分析基盤の紹介
データエンジニアと
データアナリストを
兼任して良かったこと
データアーキテクト
になるまでの話

4
会社、組織、

5
900万DL超日本No1タクシーアプリ
アプリマップ上で指定したピン位置にタクシーを手配。
全国47都道府県で約7万台と、全国のタクシー車両1/3がアプリで呼べる。
Google Mapsや音声AIなど様々な注文チャネル、決済、経費精算に対応。
*App Annie調べタクシー配車/ライドシェアアプリ内における、日本国内累計ダウンロード数/月間平均アクティブユーザー数(iOS/Google Play合算値)調査期間：2017年10月1日〜2018年9月30日
タクシー配車アプリ『JapanTaxi』
外部注文チャネル地図・経路検索
Google Maps iphone map
経費精算
Concur MoneyForward
海外
KakaoT LINE TAXI
my route
iphone siri Alexa/echo spot mydaiz LINE clova
Yahoo!乗換案内
外部注文チャネル音声AI
NAVITIME setowa 信州ナビ Japan Trip Navigator
Grab

6
タクシー配車をサポート『JapanTaxi DRIVER’S』
通話機能付き乗務員向けアプリ
『JapanTaxi』アプリからの配車注文をクラウド経由で
複数車両に直接飛ばすことですばやい配車成立を実現。
乗務員とお客様が直接コミュニケーションをとる機能や
高精度ナビゲーションシステムを導入。
将来的には『JapanTaxi DRIVER’S』1台で電話もアプリも対応可能に。

7
コンテンツ配信と決済対応を兼ね備えたデジタルサイネージ端末
QRコード決済に対応する『広告タブレット』と
クレジットカードや交通系ICなどマルチ決済対応『決済機付きタブレット』の2種を全国展開。
日英中(簡/繁)韓の多言語表示に加え、音声通訳機能も追加予定。
キャッシュレスを加速『JapanTaxi タブレット』
広告タブレット決済機付きタブレット
※一部地域にて非対応ブランド有
タブレット導入エリア
北海道・東京都・千葉県・埼玉県・神奈川県・愛知県・石川県・富山県・滋賀県・京都府・
大阪府・兵庫県・福岡県
※クレジットカードは
1万円以下はPIN、サインレス

8
扱っているデータについて
1. 「JapanTaxi」アプリ︓配⾞、決済、ユーザー情報、広告、アプリ/サーバーログなど
2. JapanTaxi DRIVER’S︓配⾞情報
3. JapanTaxiタブレット︓決済情報
4. 動態︓タクシー⾞両の位置情報
※ これらのデータをもとにしたユーザー軸、タクシー会社軸など様々な分析要求が存在する
これらのデータが分析基盤(BigQuery)にすべて集まっている
イベント時のみの公開情報です

9
組織紹介
チーム体制
3名
1名
※データエンジニアとデータアナリストを兼任しているのは僕だけです
データサイエンティスト
機械学習エンジニア
データアナリスト
データエンジニア
AI
チーム
BI
チーム

10
分析基盤紹介

11
会社、組織、

12
データエンジニアとデータアナリストを兼任して良かったこと
本日は問題点を整理した上で、兼任することのメリット・デメリットを話します
1. 分析における問題点の整理
2. メリット
3. デメリット
(データ基盤周辺)

13
1. 分析における
問題点の整理
(データ基盤周辺)
※主語が⼤きくなりすぎないように気をつけます

14
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
データの流れ
分析要求の流れ
データは川上から川下に流れるが、分析要求は真逆の流れ

15
データの流れ
ポジションも分担していることが多い
データエンジニアデータアナリスト
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
※分析基盤の管理はデータエンジニア領域である場合が多いので
一旦この区切りとしています
分析基盤

16
これによって何が起こるか

17
SIer時代の⾃分の話です
※内容⾃体は多少ぼかしています

18
データアナリスト視点

19
データの流れ
データアナリストのエンジニアリングの理解が浅い場合
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
分析基盤

20
分析するためのログがない(分析の要件定義ができていない)
◯◯分析がしたい
そのためには、データマートのデータ構造は××で、
かつ△△のフラグを持っている必要がある
△ △のフラグはデータソースにもないので
別途プロダクト側に依頼する必要があります
データアナリストデータエンジニア

21
データエンジニア視点

22
データの流れ
データエンジニアのビジネス/分析の理解が浅い場合
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
分析基盤

23
データアナリストからの分析要求に対して最適な提案ができない
プロダクトA
データウェアハウス
プロダクトB
プロダクトC
データ
マート
プロダクトB専任の
データアナリストの
データ理解のスコープ
プロダクトBのデータソースから
データ整形を依頼

24
データアナリストからの分析要求に対して最適な提案ができない
プロダクトA
データウェアハウス
プロダクトB
プロダクトC
プロダクトBのデータソースから
データ整形を依頼
実はプロダクトCのデータと掛け合わせるとより良い分析ができるケース
プロダクトB専任の
データアナリストの
データ理解のスコープ
データ
マート

25
お互い前提知識が違うので齟齬が発生しやすい
ビジネス
エンジニアリングデータサイエンス
知っていることは知っている
知らないことは知らない
ただ、それだけの話

26
改めて
これによって何が起きるか

27
PDCAサイクルの話

28
登場⼈物
1. ディレクター(意思決定者)
2. プロダクトエンジニア
3. データアナリスト
4. データエンジニア

29
高速でPDCAを回したいのに分析スピードがボトルネックになるケース
ディレクター
プロダクトエンジニア
タイムライン
施策立案
実装
分析設計
データ連携
集計分析
(思っていたデータと違う)
再構築
集計分析
修正依頼
結果FB
施策立案
タイムロス

30
このようなケースが続くと

31
分析による意思決定を無視してしまうようになる
ディレクター
タイムライン
施策立案
実装
施策立案
一定規模以上の施策のみ分析要因としてアサインされるようになる
実装

32
データエンジニアとデータアナリストを

33
データの流れ
川上から川下まで垂直統合型の仕事をしています
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
分析基盤
データエンジニア/データアナリスト
一定規模の会社では、このパターンが多いと思います

34
2. メリット

35
分析が円滑に実施できる(＝分析スピードがボトルネックではなくなる)
ディレクター
/データエンジニア
タイムライン
施策立案
実装
分析設計データ連携集計分析
施策立案
結果FB

36
エンジニアとアナリストの2つの観点が手戻りを少なくする
分析設計
データ連携
集計分析
結果FB
アナリスト：施策の狙いを理解して分析設計する。
エンジニア：分析に必要なデータ構造をプロダクトエンジニアに伝える。
エンジニア：データ構造を理解した上でデータ連携からマートまで作成する。
おかしなデータがあればアラートをあげる。運用を意識した形で作り込みをする。
アナリスト：後々のことを考えて＋αの分析ができるように拡張性を持たせる。
アナリスト：データを分析し、チームが理解しやすい形に可視化する。
エンジニア：追加の分析が必要であれば都度マートを修正する。
アナリスト：意思決定のためのメッセージをフィードバックする。
エンジニア：結果の妥当性を再確認する。

37
データは川上から川下に流れるしかない以上、
先を⾒越した分析基盤の設計が必要で、
エンジニアとアナリストの2つの観点で考える必要がある
（仮に⼿戻りする場合も対応範囲が広いほうが有利）

38
チームとしてのメリット

39
・分析基盤のデータを⼀通り抑えているので何かあれば真っ先に相談される。
「あります」、「ありません」、「できます」、「できません」、「こういうや
り⽅があります」、「必要ならデータ取ってきます」。
・AIチームとの連携が円滑にできる。
どこにデータがあるか知りたいとき、データの意味を知りたいとき、
特徴量に効きそうなモノがないか事前の分析情報を知りたいとき。
エンジニアとアナリストの2つの観点で返答できるので話が早く済む
分析基盤APIのエンドポイントとしてチームをワークさせる

40
必要なときに必要な情報を提供することで
チームをワークさせる

41
つまり
データアーキテクトとは

42
データアーキテクトとは
データエンジニアとデータアナリストの
2つの観点から
チームをワークさせるポジション

43
3. デメリット

44
組織規模が大きくなるほど兼任体制が難しくなる
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
分析基盤
担当領域注力する領域ではないが
抑えたい
注力する領域ではないが
抑えたい

45
会社、組織、

46
データアーキテクトになるまでの話
SIer時代データエンジニア
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
分析基盤
会社A
集計
分析
会社C会社B

47
SIer時代データアナリスト
会社D 会社F
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
集計
分析
分析基盤
会社E

48
エンジニアもデータ分析もやりたかった
エンジニアの経験
データ分析の経験
どっちも楽しかった

49
データアーキテクト(データ整備人)の素養
エンジニアリングが好き
データ分析が好き
の2つが両⽴している⼈

50
両方の観点で経験を積むためには一つの会社でコントロールできる状況が良い
データ
ソース
データ
レイク
データ
ウェア
ハウス
データ
マート
意思
決定者
分析基盤
会社A
集計
分析
データエンジニア/データアナリスト

51
まとめ

52
まとめ
・分析のミッションは意思決定をサポートすること
▷分析スピードがボトルネックになってはならない
▷ボトルネックにならないために⼿戻りを減らす⼯夫が必要
▷⼿戻りを減らすためにエンジニアとアナリストの2つの観点が必要
・データアーキテクトが完全にワークすると
▷必要なときに必要な情報を提供できることが、組織をワークさせる
・データアーキテクトの素養がある⼈はどんな⼈か
▷エンジニアリングもデータ分析も好きな⼈が向いている

53

データエンジニアとデータアナリストを兼任して良かったこと

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a データエンジニアとデータアナリストを兼任して良かったこと

Semelhante a データエンジニアとデータアナリストを兼任して良かったこと (20)

データエンジニアとデータアナリストを兼任して良かったこと