Enviar pesquisa
Carregar
DMPの仕組み
•
42 gostaram
•
27,711 visualizações
Kenta Suzuki
Seguir
2014/01/15に行われたCAアドテクスタジオ x VOYAGEGROUP 技術交流会での発表資料です。
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 24
Baixar agora
Baixar para ler offline
Recomendados
Head First Ad Technology and DMP
Head First Ad Technology and DMP
Kenta Suzuki
マーケジンDMPセミナー final 0528
マーケジンDMPセミナー final 0528
Intimate Merger Inc.
2015年をRTBのアプリ広告元年とするために
2015年をRTBのアプリ広告元年とするために
Toshiaki Ishibashi
a2iアトリビューション分科会20110811@so-net
a2iアトリビューション分科会20110811@so-net
Jumpei Oguri
海外アドテクIR資料まとめ 2015年1-3月期
海外アドテクIR資料まとめ 2015年1-3月期
Satoshi Noda
Video ad platform
Video ad platform
Satoshi Noda
アトリビューションのLandscape
アトリビューションのLandscape
Taku ogawa
AdServerの仕組み
AdServerの仕組み
Eiji Kuroda
Mais conteúdo relacionado
Destaque
GMOプライベートDMPの仕組み
GMOプライベートDMPの仕組み
Michio Katano
ATARA オンラインアトリビューション概要資料
ATARA オンラインアトリビューション概要資料
アタラ合同会社
アドテク勉強会(第1回)
アドテク勉強会(第1回)
Noriaki UCHIYAMA
VC側からみたアドテク最前線
VC側からみたアドテク最前線
直彦 波多江
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
Masakazu Sano
アドテク業界調査 2014年まとめ
アドテク業界調査 2014年まとめ
Satoshi Noda
アドテク勉強会0819
アドテク勉強会0819
Hideya Kato
【データアーティスト株式会社】5歳の娘でもわかるDMP
【データアーティスト株式会社】5歳の娘でもわかるDMP
Satoru Yamamoto
DMP勉強会
DMP勉強会
Shoho Kozawa
Destaque
(9)
GMOプライベートDMPの仕組み
GMOプライベートDMPの仕組み
ATARA オンラインアトリビューション概要資料
ATARA オンラインアトリビューション概要資料
アドテク勉強会(第1回)
アドテク勉強会(第1回)
VC側からみたアドテク最前線
VC側からみたアドテク最前線
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
アドテク業界調査 2014年まとめ
アドテク業界調査 2014年まとめ
アドテク勉強会0819
アドテク勉強会0819
【データアーティスト株式会社】5歳の娘でもわかるDMP
【データアーティスト株式会社】5歳の娘でもわかるDMP
DMP勉強会
DMP勉強会
Semelhante a DMPの仕組み
今年のKDDベストペーパーを実装・公開しました
今年のKDDベストペーパーを実装・公開しました
Shohei Hido
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
BrainPad Inc.
DDD入門以前
DDD入門以前
yusuke kokubo
サービス改善はログデータ分析から
サービス改善はログデータ分析から
Kenta Suzuki
JAWSDAYS 2018 LUNCH SESSION
JAWSDAYS 2018 LUNCH SESSION
陽平 山口
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
グロースエクスパートナーズ株式会社/Growth xPartners Incorporated.
JAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッション
陽平 山口
データサイエンティスト協会スキル委員会2ndシンポジウム講演資料
データサイエンティスト協会スキル委員会2ndシンポジウム講演資料
The Japan DataScientist Society
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
Kenta Suzuki
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
VOYAGE GROUP
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
Gcpでprivate dmpを作ってみた
Gcpでprivate dmpを作ってみた
Zhang Mingxiang
DevLove20141206
DevLove20141206
陽平 山口
Jaws festa-2014-cdp-03
Jaws festa-2014-cdp-03
宗 大栗
How to develop a huge Single Page Application
How to develop a huge Single Page Application
Naoki Yamada
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
GuildWorks
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
増田 亨
自動化を支えるCI/CDパイプライン
自動化を支えるCI/CDパイプライン
JunichiMitsunaga
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Preferred Networks
Semelhante a DMPの仕組み
(20)
今年のKDDベストペーパーを実装・公開しました
今年のKDDベストペーパーを実装・公開しました
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
DDD入門以前
DDD入門以前
サービス改善はログデータ分析から
サービス改善はログデータ分析から
JAWSDAYS 2018 LUNCH SESSION
JAWSDAYS 2018 LUNCH SESSION
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
JAWSDAYS2016 ランチタイムセッション
JAWSDAYS2016 ランチタイムセッション
データサイエンティスト協会スキル委員会2ndシンポジウム講演資料
データサイエンティスト協会スキル委員会2ndシンポジウム講演資料
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Gcpでprivate dmpを作ってみた
Gcpでprivate dmpを作ってみた
DevLove20141206
DevLove20141206
Jaws festa-2014-cdp-03
Jaws festa-2014-cdp-03
How to develop a huge Single Page Application
How to develop a huge Single Page Application
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
実践に向けたドメイン駆動設計のエッセンス
自動化を支えるCI/CDパイプライン
自動化を支えるCI/CDパイプライン
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Último
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
Sadao Tokuyama
2024 03 CTEA
2024 03 CTEA
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
Último
(12)
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
2024 03 CTEA
2024 03 CTEA
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
2024 04 minnanoito
2024 04 minnanoito
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
DMPの仕組み
1.
DMPの仕組み 株式会社adingo @suzu_̲v
2.
⾃自⼰己紹介 • すずけんと申します。 • 2012年年4⽉月~∼
株式会社adingo – DMPの設計・開発、及び、データの解析業務に携 わっています。 – http://cosmi.io • その前は⼤大学院でセマンティックWebと⼈人⼯工知 能の研究をしていました。 #ajiting #sicp #wakateweb #hive #R #php #dmp #aws #voyagegroup twitter: @suzu_̲v http://suzuken.hatenablog.jp 2014/01/15 CAアドテクスタジオ & VG合同勉強会
3.
アジェンダ • DMPとは何か – DMPの役割 •
DMPの仕組み – cosmiを⽀支える技術 – 役割 – アーキテクチャ 2014/01/15 CAアドテクスタジオ & VG合同勉強会
4.
DMPとは何か • 複数チャネルからのデータをまとめ、集計し、 活⽤用するためのツール – 横断的に効果を検証する –
ユーザの⾏行行動を分析し、広告配信に利利⽤用する • 単にディスプレイ広告の領領域だけではないと ころでも利利⽤用されるようになってきています。 – The Data Management Platform: Foundation for Right-‐‑‒Time Customer Engagement • http://www.iab.net/DataManagementPlatforms 2014/01/15 CAアドテクスタジオ & VG合同勉強会
5.
シンプルに⾔言うと ⼀一⾏行行⼀一⾏行行のログから 如何に価値を⽣生み出すか ということを仕事にしています。
6.
ユーザのセグメンテーション 趣味 性別 年年齢 趣向 職業 2014/01/15 どのようにセグメントしていくか? CAアドテクスタジオ & VG合同勉強会
7.
⾏行行動ログ ECサイトA 商品B購⼊入ページ Cookie Dmp_̲id=hoge サイトid=サイトA 商品id=商品B ⾏行行動=購⼊入 Cookie dmpid=hoge リファラ Ipアドレス Etc. DMP 2014/01/15 CAアドテクスタジオ &
VG合同勉強会
8.
⾏行行動ログ ECサイトA 商品B購⼊入ページ Cookie Dmp_̲id=hoge サイトid=サイトA 商品id=商品B ⾏行行動=購⼊入 Cookie dmpid=hoge リファラ Ipアドレス Etc. ルール) サイトAで商品Bを購⼊入したユーザは セグメントSとする。 DMP Dmp_̲id: hogeさんはセグメントSに属する。 セグメントDB 2014/01/15 CAアドテクスタジオ
& VG合同勉強会
9.
⾏行行動ログ ECサイトA 商品B購⼊入ページ Cookie Dmp_̲id=hoge サイトid=サイトA 商品id=商品B ⾏行行動=購⼊入 Cookie dmpid=hoge リファラ Ipアドレス Etc. ルール) サイトAで商品Bを購⼊入したユーザは セグメントSとする。 2回⽬目の訪問 サイトB 2014/01/15 Dmp_̲id: hogeさんはセグメントSに属する。 DSP:
商品Bを買ったユーザなら「この 商品Bを買ったユーザはこんな商品も 買っています」バナーなら効果⾼高そう DSP DMP セグメントDB DMP: ユーザhogeはセグメントSです CAアドテクスタジオ & VG合同勉強会
10.
cosmiを⽀支える技術について
11.
cosmiの仕事 • データ収集 – 様々なログを取り扱うコレクタ –
Fluentdによる回収・転送 • データ解析 – Hadoopによるバッチ処理理 – ストリームによるデータ処理理 • データ利利⽤用 – 当該ブラウザが特定のセグメントに属してい るかを返す 2014/01/15 CAアドテクスタジオ & VG合同勉強会
12.
ログ周りの管理理の話 • 広告ログ解析基盤にFluentdを使っている 話 -‐‑‒
すずけんメモ – http://suzuken.hatenablog.jp/entry/ 2013/12/14/195406 2014/01/15 CAアドテクスタジオ & VG合同勉強会
13.
ログの観察 • 短期間のログのモニタリングには ElasticSearch +
Kibana3を利利⽤用 – 例例) 特定のhostにおけるipアドレスのtop-‐‑‒k • アドホックなログの観察には GrowthForecastを利利⽤用 – data-‐‑‒counter, flow-‐‑‒counter • ⻑⾧長期間集計はS3 + EMRのMapReduceで。 2014/01/15 CAアドテクスタジオ & VG合同勉強会
14.
蓄積したデータを観察する。メトリクス に基いた定常的分析と、アドホックな分 析とを⾏行行なう。 検討 ユーザの⾏行行動データや関連 データを収集。トラッキング を⾏行行なう。様々なチャネルか らのデータを着実に蓄積する。 計測 仮説 施策 2014/01/15 仮説を元に施策を実⾏行行する。 次の収集のためのデザイン をする。 CAアドテクスタジオ & VG合同勉強会 データに基づき、 仮説をたてる。
15.
データストアの使い分け • S3 – source
of truth – すべてのログの保存 場所 • DynamoDB – ベーシックなターゲティング – 容易易なスループットコントロール • MongoDB – 多様なデータの持ち⽅方が可能 – クライアントごとの要件にフィットさせやすい • ElasticSearch – 短期間のログモニタリング 2014/01/15 CAアドテクスタジオ & VG合同勉強会
16.
http ⾏行行動ログコレクタ(Web) EC2 … EC2 EC2 社内⽤用管理理系統 aggregator * 2 GrowthForecast ログモニタリングストア (ElasticSearch) cron S3 DynamoDB EC2 Amazon
Elastic MapReduce 2014/01/15 オーディエンスデータDB (MongoDB) CAアドテクスタジオ & VG合同勉強会 EC2 … オーディエンスデータ Web API EC2
17.
細かい⼯工夫 • EMRクラスタが落落ちてもデータは残る – S3に元のデータが残している •
ElasticSearchのログ保持は短いスパンのものに絞る – 種類によるが現在は1ノード100GB程度度を⽬目安にしている • aggregatorノードはデータ収集サーバからラウンド ロビンで転送している – primary / secondary構成を取るべき場⾯面もあるが、その ような処理理が必要のないように調整している – aggregatorノードのscale upが可能に • データ収集サーバではファイルシステムからのin_̲tail でのみinputしている。 – fluentdが落落ちた場合も最悪cronでs3に転送すればなんと かなる 2014/01/15 CAアドテクスタジオ & VG合同勉強会
18.
DevOps的なこと • デプロイはJenkins +
fabric + make – make installでどのapplicationもデプロイで きるようになっている – 各⾃自の開発環境も同様 • AMIは弊社インフラ部⾨門で作成したものを 利利⽤用 • ミドルウェア類はpuppetで管理理 • 全体の8割のサービスはelasticになってる – MongoDB… 2014/01/15 CAアドテクスタジオ & VG合同勉強会
19.
⼤大事なこと: とにかく観察 • 観察からしか仮説は⽣生まれない •
⼤大きいデータでも、⼩小さいデータでも、⼤大事なこ とは意味あるデータを⾒見見つけ、洗い出し、価値に つなげること • なので、⼿手を替え、⼿手段を変える – Hiveでメトリクスを意識識した中間データを作成 – Rで回帰分析, Cytoscapeでネットワーク分析 – GrowthForecastで常に変化を観察する – ElasticSearchで気になる指標をさっと抽出する • 今あるデータからわかることを明確にすること • どんな⼿手間をかければもう少し良良いデータが取れ るのかを伝えられるようにすること 2014/01/15 CAアドテクスタジオ & VG合同勉強会
20.
今後検証したいこと • td-‐‑‒agentの監視をより詳細に – Treasure
Data Monitoring Service • ElasticSearchのスケール – EBSの限界 1TB • ストリーム処理理でできることを増やす – 単純なexecやexec_̲filterではなく、集合演算をストリームでや りやすくする – Amazon Kinesis • EMR以外の数100TBオーダを分析⼿手段 – EMRのalive運⽤用、クエリ⽤用クラスタ – Presto – シームレスなImpala利利⽤用 • s3のファイルのindexをDynamoDBにもっておいていい感じ に参照する仕組み 2014/01/15 CAアドテクスタジオ & VG合同勉強会
21.
まとめ • DMPはいい感じにログを整理理してモニタ リングして利利⽤用できるようにするツール です • cosmiではAWSを活⽤用しています •
なるべく⼿手間と費⽤用をかけずに運⽤用でき るように⼯工夫していますが、苦労はしま す 2014/01/15 CAアドテクスタジオ & VG合同勉強会
22.
参考資料料
23.
cosmiにおける解析環境について • JenkinsとHadoopを利利⽤用した継続的デー タ解析環境の構築 – http://www.slideshare.net/suzuken/ jenkinshadoop –
昨年年のad:tech Tokyoにてcosmiの解析環境 について発表した資料料です。Jenkinsを利利⽤用 してMapReduceジョブを継続的に回し、解 析を重ねるための環境及び利利⽤用しているツー ル群について紹介させていただきました。 2014/01/15 CAアドテクスタジオ & VG合同勉強会
24.
DMPに関するwhite paper • Data
Management Platforms Poised to Become Scalable Solution to ʻ‘Big Dataʼ’ Challenges, According to IAB & Winterberry Group – http://www.iab.net/about_̲the_̲iab/ recent_̲press_̲releases/press_̲release_̲archive/ press_̲release/pr-‐‑‒111212 • 上記の⽩白書を⽇日本語で解説した記事です。わかりやす くまとめられています。 – DMP(データマネジメントプラットフォーム)を徹底解 説した、IABの⽩白書をまとめてみる ~∼ admarketech. – http://www.admarketech.com/2012/11/dmp-‐‑‒ iab.html 2014/01/15 CAアドテクスタジオ & VG合同勉強会
Baixar agora