O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
Copyright © LOCKON CO.,LTD.All Rights Reserved.
メモリも僕のキャパシティも溢れっぱなし。。。
2年目エンジニアが実現した機械学習
#devsumiC C-2
2018/07/27
株式会社ロックオ...
Copyright © LOCKON CO.,LTD.All Rights Reserved. 2
自己紹介
内藤 勇之助
株式会社ロックオン 開発部
▼ 2017年 多摩大学経営情報学部 卒業
▼ 2017年 株式会社ロックオンへ新卒入社
・...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
3
会社概要
株式会社ロックオン
LOCKON CO.,LTD.
【大阪本社】 大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F
【東京本社】 ...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4
機械学習によるサービスの作り方
機械学習でサービスを作るには
Copyright © LOCKON CO.,LTD.All Rights Reserved.
5
機械学習によるサービスの作り方
①テーマ設定
②POC 開発
③プロジェクト
課題に対して機械学習が妥当か。どう評価するか。
ある程度の評価を担...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
計測
広告効果測定 アクセス解析
View計測 LPOクリック計測/SEO計測 経路分析
動画広告
記事広告
ディスプレイ
広告
コンテンツ
マーケ...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
アドエビスは、年々機能を拡張し、2015年には従来の広告効測定システムからマーケティングプラットフォームとして進化を遂げ、現在では
累計9,000件...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
9
スマートフォンの普及によるマルチデバイス化
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
10
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
?
?
当日
翌日
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
11
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
12
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
広告をなくす
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
13
デバイスを跨った行動は別ユーザーとみなされる
Click
Buy
A
B
当日
翌日
購入が激減
広告をなくす
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
14
同一ユーザーの類推によってデバイスを跨った行動が見える
Click Buy
A
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
15
スマートフォンの普及によるマルチデバイス化
60%
40%
クロスデバイス
コンバージョン
単一デバイスで
コンバージョン
(...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
16
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だと...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
17
これまでのクロスデバイス分析
不明ユーザー
同一ユーザー
IDで特定
※それぞれのデバイスでログインしていれば、
同一人物だと...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
クロスデバイス
18
アドエビスのクロスデバイス分析
不明ユーザー
同一ユーザー
同一ユーザー 機械学習で
同一ユーザーを類推
Copyright © LOCKON CO.,LTD.All Rights Reserved.
19
要求
スケーラビリティ
4時間で100社を分析するという要件
Copyright © LOCKON CO.,LTD.All Rights Reserved.
20
要求
そのために
精度・性能のチューニング
Copyright © LOCKON CO.,LTD.All Rights Reserved.
21
全体構成イメージ
EMR
S3
EC2
Onpre
Cloud(AWS)
Access data Output
Access data Out...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
課題のテーマ
22
スケーラビリティ
精度・性能チューニング
Copyright © LOCKON CO.,LTD.All Rights Reserved.
スケーラビリティ
Copyright © LOCKON CO.,LTD.All Rights Reserved.
スケーラビリティ
24
分析対象の数が今後増えても性能を落とさない基盤
Copyright © LOCKON CO.,LTD.All Rights Reserved. 25
スケーラビリティ
Amazon EMR
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
26
EMRについて
Hadoop
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
27
EMRについて
Amazon S3 Amazon EC2
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
28
EMRについて
スケーラビリティに優れている!
EMR
EC2 EC2 EC2
EC2 EC2 EC2
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
29
EMRの料金について
<オンデマンドインスタンス>
- EC2同様の1分単位の従量課金
<スポットインスタンス>
- 起動...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
30
EMRの料金について
AWS警察
クロスデバイスチームの1ヶ月分のAWS開発費、
あと数日で使い切りそうですが大丈夫ですか...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
31
EMRの料金について
25%
0%
20%
40%
60%
80%
100%
予想 実際
(予算)
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
32
EMRの料金について
25%
70%
0%
20%
40%
60%
80%
100%
予想 実際
(予算)
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
33
EMRの料金について
予想 実際
(予算)
25% 25%
45%
0%
20%
40%
60%
80%
100%
謎の4...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
34
EMRの料金について
Copyright © LOCKON CO.,LTD.All Rights Reserved.
EMRでの機械学習
35
EMRの料金について
Copyright © LOCKON CO.,LTD.All Rights Reserved.
# 信じ切っていいのは請求書だけ
Copyright © LOCKON CO.,LTD.All Rights Reserved.
精度・性能チューニング
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
38
240分 ÷ 100 = 2.4分/1社
1貫して分析バッチが動くようになっていた時は
1社40分以上かかっていた。。。
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
39
クラスター構成
工夫 Point
クラスターを並列で起動
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
40
クラスター構成
直 列 並 列
1社目
2社目
100社目
・
・
・
240分 ÷ 100 = 2.4分/1社
1社目
2社...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
41
工夫 Point
共通処理を入れる
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
42
共通処理を入れる
ステップ1
ステップ2
ステップ3
ステップ1
ステップ2
ステップ3
Before After
ステップ1...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
43
工夫 Point
処理対象データを減らす
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
44
組合せ爆発の対応
user 1 user 2 判定
AAA BBB 〇
CCC GGG 〇
AAA CCC ×
FFF QQQ...
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
45
組合せ爆発の対応
120憶C2 = ?
必要のないデータは省く
Copyright © LOCKON CO.,LTD.All Rights Reserved.
4時間という壁
46
最大70%の改善!
Copyright © LOCKON CO.,LTD.All Rights Reserved.
性能改善
47
Bourlon
精度改善の為に、アルゴリズム少し変えました。
取り込んだら遅くなりました。。。
内藤
Copyright © LOCKON CO.,LTD.All Rights Reserved. 48
性能改善
評価
性能改善精度改善
Copyright © LOCKON CO.,LTD.All Rights Reserved.
要求に対して
49
EMRを使うことで分析対象が増えても性能を落とさない
スケーラビリティ
精度・性能チューニング
4時間で100社の分析をぎりぎり...
Próximos SlideShares
Carregando em…5
×

【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習

Developers Summit 2018 Summer【C-2】内藤様の講演資料です。

  • Seja o primeiro a comentar

【C-2】メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習

  1. 1. Copyright © LOCKON CO.,LTD.All Rights Reserved. メモリも僕のキャパシティも溢れっぱなし。。。 2年目エンジニアが実現した機械学習 #devsumiC C-2 2018/07/27 株式会社ロックオン 開発部 内藤勇之助
  2. 2. Copyright © LOCKON CO.,LTD.All Rights Reserved. 2 自己紹介 内藤 勇之助 株式会社ロックオン 開発部 ▼ 2017年 多摩大学経営情報学部 卒業 ▼ 2017年 株式会社ロックオンへ新卒入社 ・外部サービス連携開発 ・データベースバージョンアップ ・クロスデバイス
  3. 3. Copyright © LOCKON CO.,LTD.All Rights Reserved. 3 会社概要 株式会社ロックオン LOCKON CO.,LTD. 【大阪本社】 大阪府大阪市北区梅田2-4-9 ブリーゼタワー13F 【東京本社】 東京都千代田区有楽町2-2-1 X-PRESS有楽町12F 【子会社】 LOCKON marketing of U.S.A. inc.(米国カリフォルニア州) 【子会社】 LOCKON Vietnam Co., Ltd.(ベトナム社会主義共和国) 設立 2001年6月4日 資本金 30,671万円 代表者 代表取締役 岩田 進 従業員数 122名(グループ連結) 事業内容 マーケティングロボットの提供 マーケティングプラットフォーム AD EBiS、THREe、マーケティングメトリックス研究所 東京証券取引所マザーズ上場(3690) 商流プラットフォーム EC-CUBE マーケティングプラットフォーム AD EBiS(アドエビス) 日本発ECオープンプラット フォーム EC-CUBE
  4. 4. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4 機械学習によるサービスの作り方 機械学習でサービスを作るには
  5. 5. Copyright © LOCKON CO.,LTD.All Rights Reserved. 5 機械学習によるサービスの作り方 ①テーマ設定 ②POC 開発 ③プロジェクト 課題に対して機械学習が妥当か。どう評価するか。 ある程度の評価を担保する 精度・性能・評価を並行して開発
  6. 6. Copyright © LOCKON CO.,LTD.All Rights Reserved. 計測 広告効果測定 アクセス解析 View計測 LPOクリック計測/SEO計測 経路分析 動画広告 記事広告 ディスプレイ 広告 コンテンツ マーケティング 純広告 自然検索 アフィリエイト 広告 リスティング 広告 リターゲティン グ広告 ダイレクト SNS LP TOP コンテンツ デジタルマーケティングに必要な”あらゆる機能”をワンパッケージで提供 CV 活用 外部連携 BI/レポーティング MR/CRM/SFA 広告配信/運用管理 リサーチ/モニター 3rd Party Data EC/通販支援ツール TV/オフライン施策 分析 レポーティング 施 策 軸 ユ ー ザ ー 軸 デモグラフィック カスタマージャーニー 分析 チャネル別集計 アトリビューション 分析 アドエビスはあらゆるマーケティングの効果をメディア・デバイス・代理店を横断して測定、マーケティング活動の成果最大化をサポートす るサービスです。 「アドエビス」が提供する3つのソリューション 6
  7. 7. Copyright © LOCKON CO.,LTD.All Rights Reserved. アドエビスは、年々機能を拡張し、2015年には従来の広告効測定システムからマーケティングプラットフォームとして進化を遂げ、現在では 累計9,000件以上の導入実績を誇ります。 広告効果測定市場において 3年連続シェアNo.1!!※ ※ITR「ITR Market View:メール/Webマーケティング市場2018」広告効果測定市場の売上金額シェアにおいて 2015年度 2016年度 2017年度(予測値) 広告効果測定ツールとして 信頼の導入実績 9,000件!! 4000 4500 5000 5500 6000 6500 7000 7500 8000 8500 2011年度 2012年度 2013年度 2014年度 2015年度 2016年度 2017年度 2004年 AD EBiS 発売開始 2018年 9,000件 突破!! マーケティングプラットフォーム アドエビスとは
  8. 8. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス
  9. 9. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 9 スマートフォンの普及によるマルチデバイス化
  10. 10. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 10 デバイスを跨った行動は別ユーザーとみなされる Click Buy ? ? 当日 翌日
  11. 11. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 11 デバイスを跨った行動は別ユーザーとみなされる Click Buy A B 当日 翌日
  12. 12. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 12 デバイスを跨った行動は別ユーザーとみなされる Click Buy A B 当日 翌日 広告をなくす
  13. 13. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 13 デバイスを跨った行動は別ユーザーとみなされる Click Buy A B 当日 翌日 購入が激減 広告をなくす
  14. 14. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 14 同一ユーザーの類推によってデバイスを跨った行動が見える Click Buy A
  15. 15. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 15 スマートフォンの普及によるマルチデバイス化 60% 40% クロスデバイス コンバージョン 単一デバイスで コンバージョン (出典) criteo「2016年度下期クロスデバイス・コマースレポート」
  16. 16. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 16 これまでのクロスデバイス分析 不明ユーザー 同一ユーザー IDで特定 ※それぞれのデバイスでログインしていれば、 同一人物だとシステム上扱える
  17. 17. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 17 これまでのクロスデバイス分析 不明ユーザー 同一ユーザー IDで特定 ※それぞれのデバイスでログインしていれば、 同一人物だとシステム上扱える しかし、複数デバイスで確実に ログインしてくれるようなサイトは少ない
  18. 18. Copyright © LOCKON CO.,LTD.All Rights Reserved. クロスデバイス 18 アドエビスのクロスデバイス分析 不明ユーザー 同一ユーザー 同一ユーザー 機械学習で 同一ユーザーを類推
  19. 19. Copyright © LOCKON CO.,LTD.All Rights Reserved. 19 要求 スケーラビリティ 4時間で100社を分析するという要件
  20. 20. Copyright © LOCKON CO.,LTD.All Rights Reserved. 20 要求 そのために 精度・性能のチューニング
  21. 21. Copyright © LOCKON CO.,LTD.All Rights Reserved. 21 全体構成イメージ EMR S3 EC2 Onpre Cloud(AWS) Access data Output Access data Output Input Out Control Cross device analysis
  22. 22. Copyright © LOCKON CO.,LTD.All Rights Reserved. 課題のテーマ 22 スケーラビリティ 精度・性能チューニング
  23. 23. Copyright © LOCKON CO.,LTD.All Rights Reserved. スケーラビリティ
  24. 24. Copyright © LOCKON CO.,LTD.All Rights Reserved. スケーラビリティ 24 分析対象の数が今後増えても性能を落とさない基盤
  25. 25. Copyright © LOCKON CO.,LTD.All Rights Reserved. 25 スケーラビリティ Amazon EMR
  26. 26. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 26 EMRについて Hadoop
  27. 27. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 27 EMRについて Amazon S3 Amazon EC2
  28. 28. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 28 EMRについて スケーラビリティに優れている! EMR EC2 EC2 EC2 EC2 EC2 EC2
  29. 29. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 29 EMRの料金について <オンデマンドインスタンス> - EC2同様の1分単位の従量課金 <スポットインスタンス> - 起動できない or 強制終了される可能性あり - 大幅なコストを削減できる(最大90%)
  30. 30. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 30 EMRの料金について AWS警察 クロスデバイスチームの1ヶ月分のAWS開発費、 あと数日で使い切りそうですが大丈夫ですか? え、そんなことはないはず。。。 内藤
  31. 31. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 31 EMRの料金について 25% 0% 20% 40% 60% 80% 100% 予想 実際 (予算)
  32. 32. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 32 EMRの料金について 25% 70% 0% 20% 40% 60% 80% 100% 予想 実際 (予算)
  33. 33. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 33 EMRの料金について 予想 実際 (予算) 25% 25% 45% 0% 20% 40% 60% 80% 100% 謎の45%
  34. 34. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 34 EMRの料金について
  35. 35. Copyright © LOCKON CO.,LTD.All Rights Reserved. EMRでの機械学習 35 EMRの料金について
  36. 36. Copyright © LOCKON CO.,LTD.All Rights Reserved. # 信じ切っていいのは請求書だけ
  37. 37. Copyright © LOCKON CO.,LTD.All Rights Reserved. 精度・性能チューニング
  38. 38. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 38 240分 ÷ 100 = 2.4分/1社 1貫して分析バッチが動くようになっていた時は 1社40分以上かかっていた。。。
  39. 39. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 39 クラスター構成 工夫 Point クラスターを並列で起動
  40. 40. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 40 クラスター構成 直 列 並 列 1社目 2社目 100社目 ・ ・ ・ 240分 ÷ 100 = 2.4分/1社 1社目 2社目 ・ ・ ・ 10社目 11社目 12社目 ・ ・ ・ 20社目 21社目 22社目 ・ ・ ・ 30社目 240分 ÷ 10 = 24分/1社
  41. 41. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 41 工夫 Point 共通処理を入れる
  42. 42. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 42 共通処理を入れる ステップ1 ステップ2 ステップ3 ステップ1 ステップ2 ステップ3 Before After ステップ1 ステップ2 ステップ3 ステップ1 ステップ2 ステップ3 処理ブロックA 処理ブロックB 共通処理 不要
  43. 43. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 43 工夫 Point 処理対象データを減らす
  44. 44. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 44 組合せ爆発の対応 user 1 user 2 判定 AAA BBB 〇 CCC GGG 〇 AAA CCC × FFF QQQ 〇 HHH RRR × ・・・ ・・・ ・・・
  45. 45. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 45 組合せ爆発の対応 120憶C2 = ? 必要のないデータは省く
  46. 46. Copyright © LOCKON CO.,LTD.All Rights Reserved. 4時間という壁 46 最大70%の改善!
  47. 47. Copyright © LOCKON CO.,LTD.All Rights Reserved. 性能改善 47 Bourlon 精度改善の為に、アルゴリズム少し変えました。 取り込んだら遅くなりました。。。 内藤
  48. 48. Copyright © LOCKON CO.,LTD.All Rights Reserved. 48 性能改善 評価 性能改善精度改善
  49. 49. Copyright © LOCKON CO.,LTD.All Rights Reserved. 要求に対して 49 EMRを使うことで分析対象が増えても性能を落とさない スケーラビリティ 精度・性能チューニング 4時間で100社の分析をぎりぎり達成!

×