Chainerで知るdeep learning進化の歴史
•
4 gostaram•2,681 visualizações
2017/6/25 DeepLearningオールスターズ
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Chainerで知るdeep learning進化の歴史
Semelhante a Chainerで知るdeep learning進化の歴史 (20)
Mais de Hideto Masuoka
Último
Último (10)
Chainerで知るdeep learning進化の歴史
- 2. 自己紹介 • 名前：舛岡英人（@hidetomasuoka） • 略歴 • 株式会社レトリバ創業メンバー • 株式会社Preferred Infrastructure • 株式会社ソピア（現:Accenture） • 役職 • エンジニア • 機械学習、DeepLearning製品の導入、コンサルティング、PM
- 3. 会社概要 © 2017 Retrieva, Inc. 3 会社名 設立 所在地 取締役 従業員 ミッション 事業内容 株式会社レトリバ 2016年8月 東京都千代田区富士見1-12-1 Q-DAN1991ビル4F 代表取締役社長 河原 一哉 取締役 西鳥羽 二郎 14名（2017年5月現在） ソフトウェア製品の開発、販売 お客様の課題を最先端の技術で解決する
- 4. 会社概要：沿革 © 2017 Retrieva, Inc. 4 Preferred Infrastructure Preferred Networks レトリバ AI技術を人の作り出す情報に活用 （音声データ、テキストデータ） 2014年にスピンオフ 2016年にスピンアウト IoTに注力2006年創業以来、自然言語処理等 高い技術力で評価される
- 7. Chainerの歴史 • 2015/04 Chainer開発開始 • 2015/06 Chainer 1.0.0公開 • 2015/09: v1.3.0 (CuPy) • 2015/11 TensorFlow公開 • 2015/11: v1.5.0 (Link/Chain, CuPy in Cython) • 2016/07: v1.11.0 (Trainer) • 2017/01 ChainerMNの実験結果公表 • 2017/02 ChainerRL, ChainerCV公開 • 2017/05 ChainerMN公開 • 2017/06 Chainer 2.0.0公開
- 9. Chainer誕生
- 10. Chainer 以前(2015/6以前) • 進化するChainer • 出典：https://www.slideshare.net/unnonouno/chainer-76474779 ここ
- 13. 一部の人しか使っていなかった • 一からDeep Learningを実装する技術力と数学の力がないとで きない • ドキュメントや参照実装がほとんどない • 独自実装しかないため、参考にできない
- 14. Chainerの誕生 • Release Data:2015/6/8 • Official site: http://chainer.org • Repository: https://github.com/chainer/chainer • Provided as a Python library (PyPI: chainer) • Main features • Powerful:Supports CUDA and multi-GPU capability • Flexible: Support almost arbitrary architectures • Intuitive: Forward prop can be written as a regular Python code
- 15. Chainer 1.0.0リリース後(2014/6～2017/6) • 進化するChainer • 出典：https://www.slideshare.net/unnonouno/chainer-76474779 ここ
- 16. Tensor Flowの登場
- 18. 使う人がどんどん増えてきた • 論文の参照実装が増えて、Githubで公開される量も増えてきた • Tensor FlowやChainerなどで、実装されて参考にできるように なってきた • 機械学習界隈だけでなく、画像認識や言語処理の学会でも Deep Learning一色になってきた
- 21. Chainer 1.0.0リリース後(2014/6～2017/6) • 進化するChainer • 出典：https://www.slideshare.net/unnonouno/chainer-76474779 ここ
- 23. 多角化するフレームワーク機能 名前 functions example Graphical visualization DIGITS, TensorBoard Machine learning workflow management Dataset prep, Save/Load Training loop Keras, TF slim Multi-dimensional array processing High-level array manipulation Theano, TensorFlow Torch.nn Numerical computation Matrix operation Convolution BLAS(OpenBLAS, MKL), cuBLAS, cuDNN, MKL DNN Computational device CPU, GPU, TPU, FPGA
- 28. インストールのハードルも下がった
- 29. できることも増えてきた
- 30. Chainerも進化 • 従来より33％メモリ消費量を減らした • PyCharmなどのIDEフレンドリー • メインレポジトリーをChainer/Chainerに移動 • リリースサイクルを３か月に１回に大幅にバージョンアップ • Cupyの分離 Chainer • NumpyのようにかけてCUDAを実行できるライブラリー
- 31. Cupy • CUDA上で計算を行うNumPyサブセットのライブラリ • 関数・メソッドのサブセットを実装 • 行列積などはcuBLASを利用（高速） • 配列のスライス、転置、reshape 等が自由にできる • カスタムカーネルの記述も可能 • elementwise, reduction • とにかく簡単にGPUが使える事を追求 • Python上で簡単に多次元配列といえばNumPy • PC上で簡単にGPUといえばCUDA • CUDA ＋NumPy ＝CuPy
- 32. Cupyの使い方 # CPU x_cpu = numpy.array([1, 2, 3]) l2_cpu = numpy.linalg.norm(x_cpu) # GPU x_gpu = cupy.array([1, 2, 3]) L2_gpu = cupy.linalg.norm(x_gpu)
- 35. ChainerRL • 最新の深層強化学習アルゴリズムを実装する • OpenAI Gym でも使用されています
- 36. ChainerCV • CUB、Pascal VOCのようなデータセットに対応 • データセットの変換(random crop, random flop) • 画像認識の一般的なフローを実装している
- 37. Chainerも進化
- 38. コミュニティ活動も進化（させたい） • DeepLearningを学ぶだけでなく、それぞれの課題にあったコ ミュニティ活動を展開（したい） • 画像認識 • 音声認識 • 自然言語処理 • 強化学習 • (etc..)
- 39. Slackチーム • Only English • https://bit.ly/chainer-slack • Only Japanese • https://bit.ly/chainer-jp-slack
- 40. この機会に勉強をしたいという方
- 41. 深いレベルで勉強したい方