2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
•
0 likes•184 views
2019年5月24日に実施したイベントでのハンズオンの部です。 講演に使用したJupyter Notebookはこちらです。 https://github.com/belltailjp/chainer-quick-handson-201905
Recommended
Recommended
More Related Content
Similar to 2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
Similar to 2019/5/24 Chainer familyで始める深層学習 ハンズオンの部 (20)
Recently uploaded
Recently uploaded (11)
2019/5/24 Chainer familyで始める深層学習 ハンズオンの部
- 1. 2019/5/24 @sakanazensen, Preferred Networks Chainer Familyで始める 深層学習（ハンズオンの部）
- 2. ハンズオンの流れ • Jupyter (IPython) notebookの使い⽅と準備 • CNNを使った画像分類の概要（⼀般論） • Chainerを使った画像分類器の学習 • 応⽤編 – Data augmentationにトライ – 過学習にトライ • とってつけたようにChainerCVの体験 （時間があれば）
- 3. ハンズオンの進め⽅ • こちらで⽤意したnotebookを⼿元で実⾏ – https://git.io/fjRir • もともとは3+部構成（3時間/回）のChainerハンズオン – https://git.io/fjRiw – 動画 https://youtu.be/q8LZRdjOkdM – Google Colaboratory（クラウドJupyter）・チューター多数 – なので今⽇は特急でいきます︕
- 5. Jupyter notebook • インタラクティブにコードを書けるツール – 書いては動かし、書いては動かし • ブラウザ上で動作 • コードと実⾏結果（と説明⽂）のセットで配布可能 • データサイエンス分野で便利に
- 6. ハンズオン︓Jupyter Notebook • ゴール︓Jupyter Notebookを利⽤して、 – セルの作成・実⾏ができるようになる – セルの実⾏順序があることを理解する
- 8. NNの研究・開発のプロセス • 問題を設定（何を⼊⼒に何を出⼒するか） • データセットを⽤意 • NNと損失関数を設計・実装 • 最適化⼿法や学習⽅法を設計・実装 • 学習し検証する – ⼿法やハイパーパラメタを調整 基本的にはこれをループする
- 9. ハンズオンの題材: CIFAR10を使った画像分類器 • CIFAR10 – 32x32pixのRGB画像と ラベル（真値）のペア – 10 classes – 学習⽤︓5000画像/class – 検証⽤︓1000画像/class https://www.cs.toronto.edu/~kriz/cifar.html
- 10. 学習⽤・検証⽤データセットの分割 • 機械学習で重要なこと︓汎化性能 – 「学習してないデータでどれだけうまくいくか︖」 – 単に学習データ上で精度がいいだけでは汎化性能は不明 • CNNは学習データを丸暗記できることが知られている[1] – 学習データと重ならない、検証⽤データを⽤意 • ただし全く違う⺟集団から抽出した検証⽤データでは無意味 • 研究のプロセスによっては（ハイパーパラメタ調整など）︓ 学習⽤・検証⽤・テスト⽤の3分割 [1] C. Zhang, et. al., "Understanding deep learning requires rethinking generalization," ICRL2017
- 16. Convolutional Neural Network 全結合層で構成されるNN ※cs231n 出⼒特徴マップ ⼊⼒特徴マップ Convolution (畳み込み) グレー部分︓ フィルタ github.com/vdumoulin/conv_arithmetic
- 17. Convolutional Neural Network 全結合層で構成されるNN ※cs231n 出⼒特徴マップ ⼊⼒特徴マップ Convolution (畳み込み) グレー部分︓ フィルタ 2次元⼊⼒に対する2次元の ⼩さな（典型的には3x3） フィルタの応答が出⼒ このフィルタが学習対象 github.com/vdumoulin/conv_arithmetic
- 20. Convの実際︓バイアス項 ※Conv-BN-ReLUを組み合わせる場合BNの𝛽が同様の役割を果たすためConvのbiasは使⽤しないほうがよい filter 1 (3x3xin_c) ⼊⼒ (in_c=3) filter 2 ... Stack 各フィルタ応答 全体の出⼒ * * filter c * bias 1 + bias 2 + bias c + ReLUと組み合わせると※ -bias以下の出⼒は0になる （解釈→）特徴を閾値処理し 反応が顕著な特徴のみ出⼒ フィルタ応答の全体に 特定のスカラ値を加算 （これも学習の対象）
- 21. Convolutional Neural Network • 局所的な特徴とその共起を捉える能⼒が⾼い • 学習すべきパラメータの量が少ない – その量もフィルタサイズと⼊出⼒チャネル数のみで決まる – （MLPでは⼊⼒と出⼒サイズの積） • 並進不変 – ⼊⼒の位置がズレても特徴を捉える能⼒は同じ
- 22. Convolutionの多層化 • 特徴の特徴（の特徴の特徴...） を抽出することになる – 低次特徴からより画像全体を 説明する抽象的な特徴になる • Receptive Field（受容野）の拡⼤ – 3x3のフィルタ2層で5x5、3層で7x7の範囲に広がる特徴を捉えられる – プーリングについても調べてみてください https://arxiv.org/abs/1311.2901 https://medium.com/abraia/getting-started-with-image-recognition-and-convolutional-neural-networks-in-5-minutes-28c1dfdd401
- 23. NN(CNN)での画像分類器の学習に必要なもの • 画像と真値のペア →CIFAR10 ✔ • 損失関数 →Cross Entropy ✔ • NNの定義 →ハンズオンで実装 • 学習⽅法の実装 →ハンズオンで実装
- 24. ハンズオン︓VGG-LikeなNNで分類器を学習 • VGGはImageNet（⼤規模画像分類タスク）で初登場1位 – ImageNet︓224x224の画像約100万枚・1000クラス分類 – ⼿法の意義︓⼩さなフィルタサイズの積層で効率的に 広い領域の特徴を捉えられることを⽰した[2] • ゴール︓10エポックで概ね81%程度になることを確認 [2] K. Simonyan, et. al., "Very Deep Convolutional Networks for Large-Scale Image Recognition," ILSVRC2014
- 26. 学習時 推論時（イメージ） • 例︓画像分類器は⼀般に左右逆でも同じ出⼒をしてほしい →学習画像を左右反転したものも使って学習 Data Augmentation = 不変性獲得の枠組み 実データ 実データ ⽣成した データ Car Car Car Car!! Car ???
- 27. Data Augmentationのよくある間違い • データを「増やす」︖ – NNそれ⾃体の設計などでは獲得できない不変性を獲得する補助 データを根本的に増やしているのではない • NNの設計が既に吸収できている変動をAugment – 例︓単純な並進不変はCNNで、輝度変動不変はBNで達成済み • 実データに現れない変動をAugment – 例︓⼈検出器を、⼈を上下逆にした画像を⾜して学習しても無意味 – 「データの分布を歪めるAugment」は逆効果になりがち
- 28. ハンズオン︓Random flip augmentation • CIFAR10の学習画像を1枚ずつ読み込む度に 50%の確率で左右反転して返す – 別の⽅法︓全画像を反転し元データに連結してもOK • 2倍のエポック数を費やして学習する • ゴール︓精度が81%→85%程度に向上することを確認
- 29. 過学習の体験
- 30. 過学習︓学習しているが汎化性能が低い状態 • 汎化性能︓学習してないデータでどれだけうまくいくか • 過学習(Overfitting)の観測︓ – train lossは順調に減るがval lossは減らないor悪化する • 原因︓ – 学習データが⾜りない – モデルが強⼒すぎる – etc...（理由はいろいろ） 典型的なoverfittingの学習曲線
- 31. 過学習︓学習しているが汎化性能が低い状態 • 汎化性能︓学習してないデータでどれだけうまくいくか • 過学習(Overfitting)の観測︓ – train lossは順調に減るがval lossは減らないor悪化する • 原因︓ – 学習データが⾜りない – モデルが強⼒すぎる – etc...（理由はいろいろ） 典型的なoverfittingの学習曲線 ※なお深層学習はパワフルなため適切 に設計されたモデルでも無限に学習を 続けるといつかは過学習状態になる →学習曲線を眺め適切なタイミングで 学習を終了することが必要
- 32. ハンズオン︓学習データを縮⼩し過学習を起こす • CIFAR10の学習画像を50k枚から5k枚に減らし学習 • train lossは減るがval lossは停滞・悪化する • ゴール︓テスト時精度が全く上がらなくなるのを確認
- 33. 精度を上げるには（ぜひ今後トライしてください） • 今のモデルの延⻑（精度92%~） – Convの層を増やす(deep)・チャネル数を増やす(wide) – Data Augmentation（スケール・回転その他） – Optimizerのパラメタを調整・Learning rate decayを試す – Optimizerを変えてみる – モデルアンサンブル • 抜本的なアーキテクチャ変更（SOTA: 97+%） – Skip ConnectionをもつCNNに（ResNet系やDenseNetなど）
- 34. ChainerCVの体験
- 35. ChainerCV[3]: 即利⽤可能なCV関連の再現実装群 Webサイト http://chainercv.readthedocs.io/en/stable/ Github https://github.com/chainer/chainercv [3] Y. Niitani, et al., “ChainerCV: a Library for Deep Learning in Computer Vision,” ACMMM, 2017 Vision tasks Image Classification ResNets, VGG, ... Object Detection SSD, Faster-RCNN, FPN, ... Semantic Segmentation SegNet Misc 基本的な画像処理 画像変形、Data Aug etc データセットローダー VOC, Cityscapes, CamVid etc その他ユーティリティ 精度評価、可視化、etc
- 36. ハンズオン︓ChainerCVでSSDを利⽤した物体検出 • SSD︓CNNを⽤いた物体検出の代表的⼿法の⼀つ – Single-Shot multi-box Detector [4] • ゴール︓ 学習済みモデルを利⽤して、簡単に物体検出まで⾏う [4] Wei Liu, et. al., “SSD: Single Shot MultiBox Detector” https://arxiv.org/abs/1512.02325
- 37. まとめ
- 38. よりしっかりNN/CNN/Chainerを理解したい⼈へ • Chainer Tutorial – NNの理解に必要な線形代数・解析学（微分）・確率統計・アル ゴリズムやデータ構造を包括的に解説 • Google Colaboratoryを利⽤したChainerハンズオン – この資料のもとになったもの – より基礎から応⽤まで広く深くカバー – ⾃宅にGPUがなくても簡単かつ無料でクラウドGPUで学習可能 • cs231n – Stanford⼤の講義、最も有名なCNNの教科書