1. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
TD Tech Talk 2018.5.23
AudienceOneにおける
TreasureData活用方法
デジタル・アドバタイジング・コンソーシアム株式会社
河原 亮介

2. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
自己紹介
2
• 河原 亮介（かわはら りょうすけ）
• デジタル・アドバタイジング・コンソーシアム（DAC）
• プロダクト開発本部 シニアマネージャー
• 主な業務: AudienceOne（DMP）の開発責任者
• TreasureData歴: 約5年半

3. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
本日話すこと
3
• DACについて
• DACにおけるTD利用状況
• AudienceOneにおけるTD活用方法
• AudienceOneとは
• ワークフロー / TD以外のデータベースサービス / デ
ータモニタリング

4. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
会社紹介 DACって？
4

5. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 5
DACは、インターネット広告の黎明期にあたる1996年の設立以来、
市場の形成に携わり、業界をリードしてきました。
媒体社や広告会社などのパートナー企業に向けて、広告枠の仕入れ・販売、
プランニング、レポーティングまでトータルに支援するメディアレップ、
国内最大規模のトレーディングデスクによる広告運用、
高い技術力を誇るソリューション開発など、
デジタルマーケティングにおける広告を基点としたさまざまなサービスを提供しています。
デジタル・アドバタイジング・コンソーシアム
1996年
設立
40億円
資本金
2,083億円
売上高（DACHD連結）
1,812名
役職員数（DAC連結）
※2017年3月末現在/連結※D.A.コンソーシアムホールディングス
2018年3月期/連結

6. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 6
DACは、インターネット広告の黎明期にあたる1996年の設立以来、
市場の形成に携わり、業界をリードしてきました。
媒体社や広告会社などのパートナー企業に向けて、広告枠の仕入れ・販売、
プランニング、レポーティングまでトータルに支援するメディアレップ、
国内最大規模のトレーディングデスクによる広告運用、
高い技術力を誇るソリューション開発など、
デジタルマーケティングにおける広告を基点としたさまざまなサービスを提供しています。
デジタル・アドバタイジング・コンソーシアム
1996年
設立
40億円
資本金
2,083億円
売上高（DACHD連結）
1,812名
役職員数（DAC連結）
※2017年3月末現在/連結※D.A.コンソーシアムホールディングス
2018年3月期/連結
要するに
インターネット広告の会社です

7. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
DACが提供しているソリューションサービス
7
アドサーバー
広
告
会
社
／
広
告
主
媒
体
社
プライベート
DMP
アクセス解析
ツール
LPOツール
競合調査
ダッシュ
ボード
MAツール
広告主保有チャネル
(オウンドメディア)
パブリックDMP
プランニング
ダッシュボード
トラッキング
ソーシャル
広告管理
DSP SSP
業務管理
PMP
広告プランニング・ダッシュボード
API連携
可視
化
統合データ
セグメント連携
在庫管理・入稿管理・トラッキング
広告
配信
データ提供
DealID
発行
セ
グ
メ
ン
ト
配
信
情報
収集
データ
連携
オーディエンス
連携
トラッキング
データ連携
広告配信
分析
データ
データ
連携
データ
連携
データ
連携
データ
連携
データ
連携
広告
配信
進行
管理

8. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
DACが提供しているソリューションサービス
8
アドサーバー
広
告
会
社
／
広
告
主
媒
体
社
プライベート
DMP
アクセス解析
ツール
LPOツール
競合調査
ダッシュ
ボード
MAツール
広告主保有チャネル
(オウンドメディア)
パブリックDMP
プランニング
ダッシュボード
トラッキング
ソーシャル
広告管理
DSP SSP
業務管理
PMP
広告プランニング・ダッシュボード
API連携
可視
化
統合データ
セグメント連携
在庫管理・入稿管理・トラッキング
広告
配信
データ提供
DealID
発行
セ
グ
メ
ン
ト
配
信
情報
収集
データ
連携
オーディエンス
連携
トラッキング
データ連携
広告配信
分析
データ
データ
連携
データ
連携
データ
連携
データ
連携
データ
連携
広告
配信
進行
管理
いろいろアドテクやってます

9. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
どれくらいTDを使っているのか
9

10. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
TreasureDataを利用しているサービス
10
アドサーバー
広
告
会
社
／
広
告
主
媒
体
社
プライベート
DMP
アクセス解析
ツール
LPOツール
競合調査
ダッシュ
ボード
MAツール
広告主保有チャネル
(オウンドメディア)
パブリックDMP
プランニング
ダッシュボード
トラッキング
ソーシャル
広告管理
DSP SSP
業務管理
PMP
広告プランニング・ダッシュボード
API連携
可視
化
統合データ
セグメント連携
在庫管理・入稿管理・トラッキング
広告
配信
データ提供
DealID
発行
セ
グ
メ
ン
ト
配
信
情報
収集
データ
連携
オーディエンス
連携
トラッキング
データ連携
広告配信
分析
データ
データ
連携
データ
連携
データ
連携
データ
連携
データ
連携
広告
配信
進行
管理

11. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
数字で見るTreasureData利用状況
11
ユーザ数 200
Import レコード数 / 1日 80億
Job数 / 1日 15,000
※ Hive/Presto/Deleteなどすべて
処理レコード数 / 1日 4兆 ※hive
300億 ※presto

12. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
AudienceOneにおける
TD活用方法
12
ここからやっと本題

13. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
AudienceOneとは？
13

14. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 14
1. 統 合
2. 分 析
3. 捕 捉
4. 活 用
オフラインデータも含む1st Partyデータの
管理も可能。プライベートDMP / パブリッ
クDMP両方の機能を担います。
■ 自社サイトデータ収集
■ CRMデータ連携機能
■ 広告配信データの連携
UI提供に加え、データ解析士による高度な
分析サービスを提供。複雑化する顧客イン
サイトの可視化を支援します。
■ 興味関心分析・デモグラ属性分析
■ 商圏分析
■ R/F分析・重複分析
■ インテント可視化・ジャーニー分析
セグメントを生成し顧客ごとに施策を最適
化。特許を有する高精度な推計・拡張技術
が効果の最大化を支援します。
■ オーディエンス拡張機能
■ 検索キーワード推定機能
■ クロスデバイスマッチング機能
広告をはじめ，メールやメッセージ配信等
の各マーケティングチャネルへ連携し、統
合的なデータ活用を実現します。
■ 広告配信連携機能
■ メール・メッセージ配信ツール連携機能
■ プライベートDMP連携機能
月間4.8億ユニークブラウザのcookieデータを保有するデータマネジメントプラットフォーム（DMP）で、広告出稿時に取得で
きるデータ、webサイト、ソーシャル／CRMのデータなど様々なデータを収集し、用途に応じて利用する事が可能です。
ソリューションコンサルティング
自社内外のデータを統合
解析士による顧客分析
特許技術でのユーザー捕捉
主要チャネルを網羅
約4.8億UB分のcookie
約9,000万のモバイル広告ID
1兆レコードからなる膨大なデータを解析
国内最大級規模の
オーディエンスデータを提供する
データ・マネジメント・プラットフォーム

15. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 15
1. ワークフローの使い分け
2. TreasureData以外のデータベース使い分け
3. データのモニタリング/監視
AudienceOneにおける活用方法

16. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
データまわりのシステム構成
データフローを説明
16
その前に、

17. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
（データ解析用環境）
自社サービス
データ
17
Webサイト
CRMなどの
顧客データ
アライアンスデータ
（データモニタリング）
レポート用DB
セグメント見積用
複雑な計算・集計用
・Luigi
・Treasure Workflow
（ワークフロー管理）

18. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
（データ解析用環境）
自社サービス
データ
18
Webサイト
CRMなどの
顧客データ
アライアンスデータ
（データモニタリング）
レポート用DB
セグメント見積用
・Luigi
・Treasure Workflow
（ワークフロー管理）
複雑な計算・集計用

19. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 19
1. ワークフローの使い分け
2. TreasureData以外のデータベース使い分け
3. データのモニタリング/監視
AudienceOneにおける活用方法

20. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 20
AudienceOneにおけるデータ開発フロー
課題認識
データ解析/
アルゴリズム開
発
実証実験
（テスト配信）
AudienceOneへ
実装

21. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 21
AudienceOneにおけるデータ開発フロー
課題認識
データ解析/
アルゴリズム開
発
実証実験
（テスト配信）
AudienceOneへ
実装
Treasure
Workflow
Luigi

22. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 22
Treasure Workflow
・開発したデータが本当に有用かどうか試す実証実験などで利用
・yamlで簡単にかけるのでSQLさえ書ければだれでもできる
・低コストで短期導入が可能
Luigi
・AudienceOneの機能として実装する場合に利用
・複雑な依存関係も管理しやすい
・多いものだと7~8の集計を待ってから起動するものもある
・逆に1つの集計処理を70のバッチ処理が待っているものなんかもある

23. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 23
1. ワークフローの使い分け
2. TreasureData以外のデータベース使い分け
3. データのモニタリング/監視
AudienceOneにおける活用方法

24. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
（データ解析用環境）
自社サービス
データ
24
Webサイト
CRMなどの
顧客データ
アライアンスデータ
（データモニタリング）
レポート用DB
セグメント見積用
複雑な計算・集計用
・Luigi
・Treasure Workflow
（ワークフロー管理）
ココ→

25. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
Treasure Data以外のデータベースとその利用方法
25
Redshift その１
- レポートデータ格納用
- AudienceOneのレポート画面から参照
- 集計数値のみ格納
- データ量多い（現状約110億レコード）
→レポートの種類や軸が多く、過去データの保持期間も長いため

26. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
Treasure Data以外のデータベースとその利用方法
26
- セグメントサイズ（UU数）の見積もり用
- サンプリングしたデータを格納
- セグメント作成に使える軸・条件は多数
- 条件を細かく変えながら何度も見積もりを行うのでレイテンシーはで
きるだけ低いほうがよい
- 事前の集計はできない
- ざっくりボリュームがわかればいいので精度はそこまで求められない
ElasticSearch

27. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
Treasure Data以外のデータベースとその利用方法
27
- オーディエンス拡張（Lookalike）のモデリング・スコアリング用
- 元データは約40億レコード
- AudienceOneでは個別にモデリングを実施
- オーディエンス拡張機能で作成されるセグメントは約4,000
→ すべて個別のSQLで抽出する必要がある
→ 更新頻度は日次
Redshift その2

28. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 28
1. ワークフローの使い分け
2. TreasureData以外のデータベース使い分け
3. データのモニタリング/監視
AudienceOneにおける活用方法

29. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
モニタリングしている内容
29
• トレンド
UU数の推移、比率（OS別, ブラウザ別）
• データの精度
オーディエンス拡張のモデル精度
推定データの精度
• 急激な増加/減少、異常値

30. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
• トレンド
UU数の推移、比率（OS別, 性年齢別）
• データの精度
オーディエンス拡張のモデル精度
推定データの精度
• 急激な増加/減少、異常値
モニタリングしている内容
30
Spread sheet/GoogleAppsScript/Slack

31. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
データモニタリング
31
- データソースはBigQuery, TreasureData(Presto)を利用
ローデータに近いもの→BigQuery、集計されたもの→TD
- re:dashで実現することで、データ解析チームやデータプラニング、オ
ペレーションチームも参照可能
re:dash

32. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
データモニタリング
32
- hourly/daily/weeklyで特定のデータを集計しSpreadSheetへ出力
- AppsScriptで大幅な増加/減少などがあった際にSlackへ通知
- 異常を定義できる簡単なものだけ利用
人の目で見ないと判断できないものはre:dashでモニタリング
SpreadSheet & GAS & Slack

33. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
【おまけ】モニタリング
33
弊社のTD利用者の中には非エンジニアも多く
トンデモナイクエリが投げられることも・・・

34. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
【おまけ】モニタリング
34
GASでモニタリング
TreasureData警察

35. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
まとめ（まとまってない）
35
• Treasure Workflowは非常に強力
• 適材適所
とはいえ、気持ちとしてはできるだけTDに寄せたい
• TreasureData警察に休みはない

36. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23) 36
We are hiring!
既存システムの改善や新規サービス開発を行うプロダクトマネージャーや
エンジニア募集してます
http://www.dac.co.jp/recruit/product_development/index.html

37. © D.A.Consortium Inc. All rights reserved | TD Tech Talk 2018 (2018/5/23)
ご清聴ありがとうございました