Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Deep Learningによるゆるキャラグランプリ2017の投票数予想
- 1. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 Deep Learning によるゆるキャラグランプリ 2017 の投票数予想 石山 賢也 2017-12-17
- 2. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 目次 1 自己紹介 2 今回の発表の背景 3 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワークと一般化線形モデル VGG19 4 ゆるキャラグランプリ 5 まとめと今後の課題 6 参考文献
- 3. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 これまでの経歴 自己紹介 名前 石山 賢也 (いしやま かつや) 経歴 • 2010 年 3 月 東京理科大学大学院修了 修士 (理学) 応用統計学を専攻 • 2010 年 4 月 某証券会社入社 ディーリングを 1 年、投資顧問でトレーダー、アナリス ト業務、データ集計等を担当 • 2015 年 4 月 某ソーシャルゲームの開発・運営会社の データサイエンティストに転職 ログ設計、データ集計・分析を担当 現在に至る
- 4. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 例）某王道 RPG の装着率評価 • スマートフォン向け RPG タイトルには珍しく「おしゃれ 装備」が実装されている • 装備をデザインしているアーティストは、担当した装備 がユーザーに評価されているのかが知りたい • 装着率を確認する ログの設計、集計バッチの実装、データ提供（Excel が 多い） • 装備の良し悪しをレビューする • 装備企画に反映 (3∼4ヶ月後)
- 5. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 使っているツール 普段の仕事で使っているものを使用頻度順に挙げます。 1 python (主に pandas を使う)、Redshift (主に python から 叩いている) 2 Excel (アドホックな集計物、フォーマットが決まりきっ ていない定期集計) 3 Redash (OSS の BI ツール)、PostgreSQL (Redash で使う データマート)、Jenkins (集計バッチの定期実行タスク) 4 Scala (勉強中、python では辛い集計をするとき) 5 MySQL (インフラ系の設定等を扱う) 6 R (本気で統計モデルを使って分析したい時)
- 6. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 今回の発表の背景 1 RPG タイトルのアーティストは装備の装着率を気にして いた 2 企画段階で装着率が分かれば企画が立てやすくなるので はないか 3 VGG19 を知る 4 装備の装着率を画像から予想するのに使える 5 とはいえ、それを社外に向けて出すわけにはいかない... 6 ゆるキャラグランプリで投票数を予想してみよう！ Deep Learning でどのように投票数を予想するのかという原理にフォーカスした内容 になってしまいました... ソースコードはこのスライドには出てきません。 qiita に投稿した記事と GitHub へのリンクを付けましたので、気になる方はご覧下 さい。
- 7. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 Deep Learning の歴史 • 機械学習のニューラルネットワークの 1 種である CNN • Rosenblatt が 1957 年に初めてパーセプトロンを発表 • ディープラーニングの初登場 2006 年に当時トロント大の Hinton 教授 (現 Google) が発 表した Deep Belief Nets • ILSVRC2012 で圧倒的な成績 Hinton が率いるトロント大が開発した Super Vision が 2 位を大きく引き離して優勝 • 同じく 2012 年に Google が構築した Deep Learning のアル ゴリズムが YouTube の動画を学習して猫を自動的に認識 したと発表
- 8. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロン パーセプトロン (単層ニューラルネットワーク) の式は次の 通り： y(x, w) = f N∑ j=1 wj xj , (1) f (a) = { 1 (a ≤ 0) −1 (a < 0) (2) Figure : パーセプトロン（巣籠より引用）
- 9. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンとロジスティック 回帰 パーセプトロンの式 (1) において f に 1 1+exp(−x) を用いると y(x, w) = f N∑ j=1 wj xj = 1 1 + exp(− ∑N j=1 wj xj ) (3) となり、これはロジスティック回帰である。 これは機械学習では 2 値分類問題に応用され、統計学では病 気の死亡率にどの項目が影響しているのかの分析で使われる。 （注） 1 1+exp(−x) は機械学習ではシグモイド関数と呼ばれる
- 10. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンから多値分類問 題への拡張 ロジスティック回帰は 2 クラスの分類しかできないので、さら にこれを多クラス分類問題に拡張したい。 第 k クラスのみの分類だけを考えるとその確率は式 (3) で表さ れる。 多クラス分類問題はこの 2 項確率による多項分布になるので、 y(x, w) = n∏ i=1 m∏ j=1 ( exp(xi wj ) 1 + ∑m−1 l=1 exp(x′ i wl ) ) (4) となり、これは式 (1) の形である。
- 11. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンと一般化線形モ デル このようにパーセプトロンの f を変えることで 2 クラス分類 から多クラス分類まで対応することができる。 統計学的には一般化線形モデル (Generalized Linear Models) と してさらに一般化された形で次のように定式化されている。 一般化線形モデル (GLM) 指数型分布族に属する分布に従う独立な確率変数 Yi (i = 1, ..., N) に対して、µi = E(Yi ) として、単調な関数 g によって g(µi ) = N∑ j=1 wj xj (5) と表される。
- 12. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンと一般化線形モ デル 一般化線形モデルの式 (5) は E(Yi ) = µi = g−1 N∑ j=1 wj xj (6) と書けて、f = g−1 とすると式 (1) と同じ形になる。 つまり、パーセプトロンを一般化したものは一般化線形モデ ルということ。
- 13. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 一般化線形モデルからニューラ ルネットワークへ 式 (1) の問題点は f の中身 ∑N j=1 wj xj は線形のものしか表現で きないことである。 そこで、より当てはまりを良くするために線形以外のものも 表現できるようにしたい。 非線形関数 ϕ を使って式 (1) を y(x, w) = f ϕ( N∑ j=1 wj xj ) (7) とすると、これはニューラルネットワークの一般形の数式に なる。 式 (7) は予想が良くなるようにデータを適当に変換した後に、 一般化線形モデルを適用したものとも解釈できる。
- 14. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ニューラルネットワークで使え る確率分布 これまで数式で説明してきたのは、データが従うと仮定でき る分布に何があるのかということを明らかにしたかったため。 重要なのは f に何が使えるのかということであり、これは学 習に必要になる損失関数の形を決定する。 ゆるキャラグランプリの投票数予想では、データがポアソン 分布に従うとしてモデリングする。 Figure : f に使われる関数 Fox より転載
- 15. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ニューラルネットワークと一般 化線形モデルのまとめ • ニューラルネットワークは一般化線形モデルを拡張した もの • その拡張は一般化線形モデルで回帰する前にデータをよ り複雑に変換して表現力を上げるというもの • 一般化線形モデルと同じようにしてポアソン分布に従う データにニューラルネットワークを適用することができ る (PRML の 4.3.6 を参照)
- 16. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 VGG19 とは？ • Simonyan と Zisserman によって開発されたモデル • ILSVRC2014 で 2 位を獲得 VGG はチーム名でオックスフォード大の Visual Geometry Group の略 • 画像分類では 2014 年の Winner である GoogLeNet を抑え てトップに立った • シンプルな構成なので幅広く応用されている 例）Image Style Transfer Using Convolutional Neural Networks • Keras には事前に学習済みのモデルが実装されている
- 17. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 VGG19 のアーキテクチャ Figure : VGG のアーキテクチャ Simonyan and Zisserman より転載
- 18. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ゆるキャラグランプリのデータ DL qiita に記事を書いたのでそちらを参照 Python の Beautifulsoup と scikit-image でゆるキャラグランプ リのデータを取得して VGG19 向けに変換
- 19. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 まとめ • ニューラルネットワークは一般化線形モデルの拡張である • ゆるキャラグランプリの投票数予想モデルとして、 VGG19 を紹介した • 投票数がポアソン分布に従うと仮定して VGG19 を適用で きる事を示した
- 20. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 今後の課題 • ポアソン分布の場合の VGG19 の損失関数を導出して実装 • 実際に実行して結果を評価する (Google Cloud ML を利用予定) • 他のモデルを探す VGG のコードは GitHub を参照
- 21. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 参考文献 • Bishop, C. M. Pattern Recognition and Machine Learning, 2006. • Chollet, F. Deep Learning with Python, Manning, 2017. • Dobson, A. J. An Introduction to Generalized Linear Models 2nd Ed, Chapman & Hall, 2002. • Fox, J. Applied Regression Analysis and Generalized Linear Models 2nd Ed, SAGE Publication, 2008. • Simonyan, K. and Zisserman, A. Very Deep Convolutional Networks For Large-Scale Image Recognition. • 巣籠, Deep Learning Java プログラミング, インプレス, 2016 • 斎藤, ゼロから作る Deep Learning, オライリー・ジャパ ン, 2016
- 22. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ご清聴ありがとうございました