セレンディピティと機械学習
•
6 gostaram•7,270 visualizações
2016.8.10 TechFeed Live! にて、機械学習の楽しみとしての世界の記述とセレンディピティについて話しました。
![• 舘野 啓 (たての けい)
• 経歴
– 2003～2012 ソニー(株) [A-Z]{2,3}研究所
• パーソナライゼーション/情報推薦アルゴリズム、テキストマイニングの研究開
発
• テレビ王国、フォトナビワイン、AnyMusic、Music Unlimited etc. への適用
– 2012～2014 ソニー(株) ビジネスデザイン＆イノベーションラボ
• 事業立ち上げにチャレンジ(含むSan Franciscoでの活動)
– 2014.10～ ソネット・メディア・ネットワークス
• アドテク業界に足を踏み入れる
• 現在
– アルゴリズム開発、システム開発PM、新規事業検討、採用etc.
自己紹介](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a セレンディピティと機械学習
Semelhante a セレンディピティと機械学習 (20)
Último
Último (9)
セレンディピティと機械学習
- 1. Copyright 2015 So-net Media Networks Corp. All rights reserved セレンディピティと機械学習 2016.8.10 ソネット・メディア・ネットワークス株式会社 舘野 啓
- 2. • 舘野 啓 (たての けい) • 経歴 – 2003～2012 ソニー(株) [A-Z]{2,3}研究所 • パーソナライゼーション/情報推薦アルゴリズム、テキストマイニングの研究開 発 • テレビ王国、フォトナビワイン、AnyMusic、Music Unlimited etc. への適用 – 2012～2014 ソニー(株) ビジネスデザイン＆イノベーションラボ • 事業立ち上げにチャレンジ(含むSan Franciscoでの活動) – 2014.10～ ソネット・メディア・ネットワークス • アドテク業界に足を踏み入れる • 現在 – アルゴリズム開発、システム開発PM、新規事業検討、採用etc. 自己紹介
- 3. 3 • 好きな機械学習ネタ – トピックモデル 自己紹介 Latent Dirichlet Allocation θ z w Wd α φ Zβ y x a ξU γ A U ψ X η D Z ρ κ C c コンテンツ解釈の個人化モデル
- 4. 4 ソネット・メディア・ネットワークス インターネット広告配信 プラットフォーム Real Time Biddingにおける機械学習 どんな広告を？ 誰に？ いつ・どの面に？ 幾らで？ より詳細な課題：[1]
- 6. 6 “機械学習を学ぶ” Golden Circle by Simon Sinek Why How What 機械学習 なぜ機械学習を学ぶのか？
- 9. 9 機械学習のサイクル 事象 検証 大量の教師データ (=よく知られた現象/課題) どう学びをモチベートしていくか？ 仮説 モデル 自動化？ e.g. DataRobot 物理で殴る？ 精度の追及
- 11. 11 情報推薦の基礎 網羅的な資料：[2][3] 4 5 3 4 5 4 1 3 1 ユーザ アイテム 4 5 3 4 5 4 1 3 1 未知の評価値を 予測 評価行列 高い予測評価値の アイテムを推薦
- 12. 4 5 3 4 5 4 1 3 1 12 • 代表的手法：Matrix Factorization – 評価値をユーザとアイテムの潜在ベクトルの内積で近似 – (潜在ベクトル≒”相性”を表すもの) 情報推薦の基礎 アイテム 潜在ベクトル ユーザ潜在 ベクトル min 𝑈,𝑉 Σ𝑖,𝑗 𝑟𝑖𝑗 − 𝒖𝑖 𝑇 𝒗𝑗 2 + 𝜆( 𝑈 2 + 𝑉 2) V UR 最適化問題 𝑅 = 𝑈𝑉 𝑇
- 13. 13 • Matrix Factorization から Probabilistic Matrix Factorization[4] へ 情報推薦の基礎 𝑟𝑖𝑗 𝒖𝑖 𝒗𝑗 𝜎 𝑢 𝜎𝑣 𝜎𝑟 𝒖𝑖~𝑁 𝟎, 𝜎 𝑢 2 𝐼 𝒗𝑗~𝑁 𝟎, 𝜎𝑣 2 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜎𝑟 2 潜在ベクトルと評価値を 正規分布に従う確率変数として扱う min 𝑈,𝑉 log 𝑃(𝑈, 𝑉|𝑅, 𝜎 𝑢, 𝜎𝑣, 𝜎𝑟) 因果関係＝世界の意味構造を明示的に記述 PMFのグラフィカルモデル 事後確率最大化としてパラメータ最適化 𝑁 𝑢 𝑁𝑣 「ユーザ潜在ベクトルは 正規分布に従いますよ」
- 15. 15 “セレンディピティ”って？ “... that kind which I call serendipity. ... I once read a silly fairy tale, called The Three Princes of Serendip: as their Highnesses travelled, they were always making discoveries, by accidents & sagacity, of things which they were not in quest of ...” Horace Walpole [5]
- 16. 16 “セレンディピティ”って？ 価値ある偶然の発見 セレンディピティ理論のさまざまなプロセス仮説 [6] 要は Chance encountering of information Sagacity to derive insight Discovery Invention Unanticipated Anomalous Strategic datum Symbolic rules Novelty Validation Preparation Insight ElaborationIncubation Evaluation Prepared mind Seize the moment Evaluate effects Recognize potential Amplify effects Unexpecte d event New connection Exploit connection Reflect on value Project value Valuable outcome Prepared mind Bridge Result Focus shift Trigger
- 20. 20 • 妄想 – ユーザが手に取りそうにない(“Discovery”/”Novelty”)けど、実は好き(“Valuable outcome”)になるような推薦がセレンディップなんじゃ？ • モデル – “好き”：評価値 𝑟𝑖𝑗 をユーザとアイテムの潜在ベクトルに基づき予測 – “手に取りそう”：評価行為 𝑐𝑖𝑗 ∈ {0,1} をユーザとアイテムの潜在ベクトルと評価値で 予測 – 予測評価値：高, 評価行為確率：低(e.g. 𝑟𝑖𝑗/𝑐𝑖𝑗大)なアイテムがセレンディップ！ 妄想とモデル(1) 𝒈𝑖~𝑁 𝝁 𝑔, 𝜎𝑔 2 𝐼 𝒉𝑗~𝑁 𝝁ℎ, 𝜎ℎ 2 𝐼 𝑐𝑖𝑗~𝐵𝑒𝑟𝑛(𝑓 𝒈𝑖 𝑇 𝒉𝑗 + 𝒖𝑖 𝑇 𝒗𝑗 ) 𝑓 𝑥 = 1 1 + exp(−𝑥) 𝑟𝑖𝑗 𝒈𝑖 𝒉𝑗 𝒖𝑖 𝒗𝑗𝝁 𝑢 𝝁 𝑣 𝜎 𝑢 𝜎𝑣 𝑐𝑖𝑗 𝜎𝑟 𝝁ℎ𝝁 𝑔 𝜎𝑔 𝜎ℎ 𝑁 𝑢 𝑁𝑣 𝒖𝑖~𝑁 𝝁 𝑢, 𝜎 𝑢 2 𝐼 𝒗𝑗~𝑁 𝝁 𝑣, 𝜎𝑣 2 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜎𝑟 2 評価行為の 傾向 ([7][8]を参考に簡略化) ユーザとアイテムの 評価の傾向(PMF)
- 21. 21 • 妄想 – 普段とは違う視点(“Focus shift”)からお薦めしてくれるのがセレンディピティなん じゃ？ • モデル ([9][10]など) – 評価の傾向と、アイテムの特徴におけるまとまりの傾向両方を満たす潜在ベクトルを 推定 – ユーザの特徴的な視点(潜在ベクトル要素)で、予測評価値の高いアイテムがセレン ディップ！ 妄想とモデル(2) 𝑤 𝑚𝜽𝑗𝜶 𝑟𝑖𝑗 𝜷 𝒗𝑗𝜆 𝑣 𝒖𝑖 𝑁𝑣 𝑧 𝑚 𝑁 𝑢 𝜆 𝑢 𝑁 𝑤 𝑁𝑡 𝒖𝑖~𝑁 𝟎, 𝜆 𝑢 −1 𝐼 𝒗𝑗~𝑁 𝜽𝑗, 𝜆 𝑣 −1 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜆 𝑟 −1 𝐼 𝜽𝑗~𝐷𝑖𝑟 𝜶 𝑧 𝑚~𝑀𝑢𝑙𝑡𝑖 𝜽𝑗 𝑤 𝑚~𝑀𝑢𝑙𝑡𝑖(𝜷 𝑧 𝑚 ) アイテムの特徴での まとまりの傾向(LDA) 𝝓𝑖 = exp 𝜂𝑢𝑖𝑘 Σ𝑙 exp 𝜂𝑢𝑖𝑙 𝑘=1 𝑁𝑡 max 𝑗 𝐾𝐿(𝝓𝑖||𝜽𝑗) + 𝜌𝑟𝑖𝑗 ……視点の強調 ……マッチング ユーザとアイテムの 評価の傾向(PMF)
- 22. 22 • Multi view clusteringによる情報推薦 妄想とモデル(2) 適用例 • 評価予測とは独立に、アイテムの特徴量(ジャンル, KW etc.)に基づくユーザ固有の“視点”を抽出 ジャンル キーワード 音声特徴 アイテムのクラスタと、あるユーザの好きアイテムの偏在性(濃淡) ユーザにとっての 重要な視点a b b b a a • 重要な視点を固定、他の視点をずらしたうえで高予測評価値 アイテムを推薦 ⇒セレンディップな、満足度の高い推薦を実現
- 26. 26 • [1] 舘野, “アドテクにおける機械学習技術”, http://www.slideshare.net/ttpooh/tokyo- data-night-tokyodn • [2] 神嶌, “推薦システム”, http://www.kamishima.net/archive/recsys.pdf • [3] 神嶌, “推薦システムのアルゴリズム”, http://www.kamishima.net/archive/recsysdoc.pdf • [4] Salakhutdinov, R., Mnih, A., “Probabilistic Matrix Factorization,” NIPS, 2007. • [5] Andel, P. V., “Anatomy of the Unsought Finding. Serendipity: Origin, History, Domains, Traditions, Appearances, Patterns and Programmability,” British Journal of Philosophy of Science, 1994. • [6] Corneli, J., et al., “Modeling Serendipity in a Computational Context,” arXiv, 2014. • [7] Hernandez-Lobato, J. S., et al., “Probabilistic Matrix Factorization with Non- random Missing Data,” ICML, 2014. • [8] Ohsawa, S., et al., “Gated Probabilistic Matrix Factorization: Learning Users’ Attention from Missing Values,” IJCAI, 2016. • [9] Wang, C., Blei, D., “Collaborative Topic Modeling for Recommending Scientific Articles,” KDD, 2011. • [10] 関野, “特徴量に基づく確率的行列分解”, IBIS, 2010. 参考文献