Mais conteúdo relacionado
Semelhante a 【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習 (20)
Mais de Developers Summit (20)
【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習
- 1. Copyright © LOCKON CO.,LTD.All Rights Reserved.
メモリも僕のキャパシティも溢れっぱなし。。。
2年目エンジニアが実現した機械学習
#devsumiC C-2
2018/07/27
株式会社ロックオン 開発部 内藤勇之助
- 2. Copyright © LOCKON CO.,LTD.All Rights Reserved. 2
自己紹介
内藤 勇之助
株式会社ロックオン 開発部
▼ 2017年 多摩大学経営情報学部 卒業
▼ 2017年 株式会社ロックオンへ新卒入社
・外部サービス連携開発
・データベースバージョンアップ
・クロスデバイス
- 3. Copyright © LOCKON CO.,LTD.All Rights Reserved.
3
会社概要
株式会社ロックオン
LOCKON CO.,LTD.
【大阪本社】 大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F
【東京本社】 東京都千代田区有楽町2-2-1 X-PRESS有楽町12F
【子会社】 LOCKON marketing of U.S.A. inc.(米国カリフォルニア州)
【子会社】 LOCKON Vietnam Co., Ltd.(ベトナム社会主義共和国)
設立 2001年6月4日
資本金 30,671万円
代表者 代表取締役 岩田 進
従業員数 122名(グループ連結)
事業内容 マーケティングロボットの提供
マーケティングプラットフォーム
AD EBiS、THREe、マーケティングメトリックス研究所
東京証券取引所マザーズ上場(3690)
商流プラットフォーム
EC-CUBE
マーケティングプラットフォーム
AD EBiS(アドエビス)
日本発ECオープンプラット
フォーム EC-CUBE
- 5. Copyright © LOCKON CO.,LTD.All Rights Reserved.
5
機械学習によるサービスの作り方
①テーマ設定
②POC 開発
③プロジェクト
課題に対して機械学習が妥当か。どう評価するか。
ある程度の評価を担保する
精度・性能・評価を並行して開発
- 6. Copyright © LOCKON CO.,LTD.All Rights Reserved.
計測
広告効果測定 アクセス解析
View計測 LPOクリック計測/SEO計測 経路分析
動画広告
記事広告
ディスプレイ
広告
コンテンツ
マーケティング
純広告
自然検索
アフィリエイト
広告
リスティング
広告
リターゲティン
グ広告
ダイレクト
SNS
LP TOP
コンテンツ
デジタルマーケティングに必要な”あらゆる機能”をワンパッケージで提供
CV
活用
外部連携
BI/レポーティング
MR/CRM/SFA
広告配信/運用管理
リサーチ/モニター
3rd Party Data
EC/通販支援ツール
TV/オフライン施策
分析
レポーティング
施
策
軸
ユ
ー
ザ
ー
軸
デモグラフィック
カスタマージャーニー
分析
チャネル別集計
アトリビューション
分析
アドエビスはあらゆるマーケティングの効果をメディア・デバイス・代理店を横断して測定、マーケティング活動の成果最大化をサポートす
るサービスです。
「アドエビス」が提供する3つのソリューション
6
- 7. Copyright © LOCKON CO.,LTD.All Rights Reserved.
アドエビスは、年々機能を拡張し、2015年には従来の広告効測定システムからマーケティングプラットフォームとして進化を遂げ、現在では
累計9,000件以上の導入実績を誇ります。
広告効果測定市場において
3年連続シェアNo.1!!※
※ITR「ITR Market View:メール/Webマーケティング市場2018」広告効果測定市場の売上金額シェアにおいて
2015年度 2016年度 2017年度(予測値)
広告効果測定ツールとして
信頼の導入実績
9,000件!!
4000
4500
5000
5500
6000
6500
7000
7500
8000
8500
2011年度 2012年度 2013年度 2014年度 2015年度 2016年度 2017年度
2004年
AD EBiS
発売開始
2018年
9,000件
突破!!
マーケティングプラットフォーム アドエビスとは
- 10. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
10
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
?
?
当日
翌日
- 11. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
11
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
- 12. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
12
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
広告をなくす
- 13. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
13
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
購入が激減
広告をなくす
- 14. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
14
同一ユーザーの類推によってデバイスを跨った行動が見える
Click Buy
A
- 15. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
15
スマートフォンの普及によるマルチデバイス化
60%
40%
クロスデバイス
コンバージョン
単一デバイスで
コンバージョン
(出典) criteo「2016年度下期クロスデバイス・コマースレポート」
- 16. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
16
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だとシステム上扱える
- 17. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
17
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だとシステム上扱える
しかし、複数デバイスで確実に
ログインしてくれるようなサイトは少ない
- 18. Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
18
アドエビスのクロスデバイス分析
不明ユーザー
同一ユーザー
同一ユーザー 機械学習で
同一ユーザーを類推
- 21. Copyright © LOCKON CO.,LTD.All Rights Reserved.
21
全体構成イメージ
EMR
S3
EC2
Onpre
Cloud(AWS)
Access data Output
Access data Output
Input
Out
Control Cross device analysis
- 27. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
27
EMRについて
Amazon S3 Amazon EC2
- 28. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
28
EMRについて
スケーラビリティに優れている!
EMR
EC2 EC2 EC2
EC2 EC2 EC2
- 29. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
29
EMRの料金について
<オンデマンドインスタンス>
- EC2同様の1分単位の従量課金
<スポットインスタンス>
- 起動できない or 強制終了される可能性あり
- 大幅なコストを削減できる(最大90%)
- 30. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
30
EMRの料金について
AWS警察
クロスデバイスチームの1ヶ月分のAWS開発費、
あと数日で使い切りそうですが大丈夫ですか?
え、そんなことはないはず。。。
内藤
- 31. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
31
EMRの料金について
25%
0%
20%
40%
60%
80%
100%
予想 実際
(予算)
- 32. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
32
EMRの料金について
25%
70%
0%
20%
40%
60%
80%
100%
予想 実際
(予算)
- 33. Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
33
EMRの料金について
予想 実際
(予算)
25% 25%
45%
0%
20%
40%
60%
80%
100%
謎の45%
- 38. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
38
240分 ÷ 100 = 2.4分/1社
1貫して分析バッチが動くようになっていた時は
1社40分以上かかっていた。。。
- 39. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
39
クラスター構成
工夫 Point
クラスターを並列で起動
- 40. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
40
クラスター構成
直 列 並 列
1社目
2社目
100社目
・
・
・
240分 ÷ 100 = 2.4分/1社
1社目
2社目
・
・
・
10社目
11社目
12社目
・
・
・
20社目
21社目
22社目
・
・
・
30社目
240分 ÷ 10 = 24分/1社
- 42. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
42
共通処理を入れる
ステップ1
ステップ2
ステップ3
ステップ1
ステップ2
ステップ3
Before After
ステップ1
ステップ2
ステップ3
ステップ1
ステップ2
ステップ3
処理ブロックA
処理ブロックB
共通処理
不要
- 44. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
44
組合せ爆発の対応
user 1 user 2 判定
AAA BBB 〇
CCC GGG 〇
AAA CCC ×
FFF QQQ 〇
HHH RRR ×
・・・ ・・・ ・・・
- 45. Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
45
組合せ爆発の対応
120憶C2 = ?
必要のないデータは省く
- 47. Copyright © LOCKON CO.,LTD.All Rights Reserved.
性能改善
47
Bourlon
精度改善の為に、アルゴリズム少し変えました。
取り込んだら遅くなりました。。。
内藤
- 49. Copyright © LOCKON CO.,LTD.All Rights Reserved.
要求に対して
49
EMRを使うことで分析対象が増えても性能を落とさない
スケーラビリティ
精度・性能チューニング
4時間で100社の分析をぎりぎり達成!