More Related Content
Similar to 数式がわからなくたってDeep Learningやってみたい!人集合- dots. DeepLearning部 発足! (20)
数式がわからなくたってDeep Learningやってみたい!人集合- dots. DeepLearning部 発足!
- 2. 自己紹介
• 名前
• 舛岡英人(@hidetomasuoka)
• 略歴
• 産業能率大学 経営情報学部 卒業
• 株式会社ソピア(現アクセンチュア)入社
• 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当
• 株式会社Preferred Infrastructure 入社
• 各製品の提案からサポートまですべてを担当
• 株式会社Intimate Merger に出向
• 株式会社 レトリバ創業メンバー
- 3. 自己紹介
• 名前
• 舛岡英人(@hidetomasuoka)
• 略歴
• 産業能率大学 経営情報学部 卒業
• 株式会社ソピア(現アクセンチュア)入社
• 中小企業向けERPのスクラッチ開発を提案からサポートまですべてを担当
• 株式会社Preferred Infrastructure 入社
• 各製品の提案からサポートまですべてを担当
• 株式会社Intimate Merger に出向
• 株式会社 レトリバ創業メンバー
ほぼほぼ文系!
- 7. 対象を大きく分けることにした
• Chainer Meetup
• Chainerを使ってる人
• 自分でネットワークを書いたり
実験を回すことができる人
• 数式がでてきてもコワくない人
• dots.DeepLearning部
• Deep Learningをこれから勉強
する人
• 数式が多少わからなくてもOK
• フレームワークの縛りは無し
- 13. 機械学習の典型的なプロセス
13
(0, 1, 2.5, -1, …)
(1, 0.5, -2, 3, …)
(0, 1, 1.5, 2, …)
特徴ベクトル
グラフィカルモデル
分類/回帰
SVM/LogReg/PA
CW/ALOW/Naïve
Bayes/CNB/DT
RF/ANN…
クラスタリング
K-means/Spectral
Clustering/MMC/L
SI/LDA/GM…
構造分析
HMM/MRF/CRF…
分野に依存しない
抽象化データ
様々な手法
理論を適用
機械
学習
文書
画像 センサー
行動履歴
様々な様式の
生データ
特徴
抽出
- 15. 画像からの特徴抽出
• 例:Histogram of Gradient (HoG特徴量)
http://www.vlfeat.org/overview/hog.html
機械学習
アルゴリズム
各ピクセルでの勾配を小ブロック(セル)
単位でまとめてヒストグラム化
各セルでのヒストグラムを(正
規化して)すべてまとめる
- 18. Neural Netブーム
• 様々なコンペティションでDLが既存手法を凌駕
• 16%(‘12) → 11%(‘13) → 6.6%(’14) → 4.8%('15) → 2.9%('16)
• 各企業がDL研究者の獲得競争
• Google/FaceBook/Microsoft/Baidu
• 実サービスもDLベースに置き換えられる
• Siri/Google画像検索
GoogLeNetのアーキテクチャ↓
http://research.google.com/archive/un
supervised_icml2012.html
Google Brainによる猫認識↑
[Le, Ng, Jeffrey+ ’12]
- 27. ディープラーニングの応用例
Deep Q Network*(深層学習で強化学習)
* Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533.
** CaffeでDeep Q-Networkを実装して深層強化学習してみた http://d.hatena.ne.jp/muupan/20141021/1413850461
*** PFIインターン2014 最終発表 http://www.ustream.tv/recorded/53153399
27
- 31. minibatch j
訓練の流れ
Epoch 1
Epoch N
Epoch 2
Epoch i
Epoch i
全訓練データを
シャッフル
minibatch 1
Forward
minibatch 2
パラメータ更新
時刻
• Epoch (Iteration):全訓練データを1巡する事
→ 各訓練データはNetにN回与える
• Solver:Netを訓練するモジュール
• minibatch:少数の訓練データをまとめたもの
31
パラメータ更新
minibatch j
Backward
Editor's Notes
- 2013/3 GoogleがUniv of TrontoのDNN researchを買収
2013/4 Baiduがinstitute of Deep Learningを設立
2013/8 YahooがIQ Enginesを買収
2013/10 YahooがLookFlowを買収
2013/12 FacebookがAI Labを設立
2014/1 GoogleがDeep Mindを買収
2014/10 DeepMind がUKのDarkBlue、Vision Factoryを買収、Oxfordと連携
http://image-net.org/challenges/LSVRC/2014/slides/GoogLeNet.pptx
http://static.googleusercontent.com/media/research.google.com/ja//archive/unsupervised_icml2012.pdf
http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
http://googlepolicyeurope.blogspot.be/2014/10/teaming-up-with-oxford-university-on.html
- https://github.com/muupan/caffe/tree/dqn
https://www.youtube.com/watch?v=p88R2_3yWPA