![菅沼 雅徳（すがぬま まさのり）
2
自己紹介
• 所属
• 2017.09 博士卒
• 2017.10 - 理化学研究所 AIP 特別研究員（東北大@岡谷研）
• 2018.10 - 東北大学 〇〇
• 研究分野
• 進化計算＋深層学習
• [M. Suganuma et al.] Exploiting the potential of standard convolutional autoencoders for
image restoration by evolutionary search, ICML 2018
• [M. Suganuma et al.] A genetic programming approach to designing convolutional neural
network architectures, GECCO 2017 (Best paper award)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a CNNの構造最適化手法（第3回3D勉強会）
Semelhante a CNNの構造最適化手法（第3回3D勉強会） (20)
CNNの構造最適化手法（第3回3D勉強会）
- 1. Deep SLAMにも使えるCNN構造最適化 菅沼 雅徳 RIKEN Center for AIP / 東北大学 第3回 3D勉強会 Deep SLAM論文読み会 (2018.09.29)
- 2. 菅沼 雅徳（すがぬま まさのり） 2 自己紹介 • 所属 • 2017.09 博士卒 • 2017.10 - 理化学研究所 AIP 特別研究員（東北大@岡谷研） • 2018.10 - 東北大学 〇〇 • 研究分野 • 進化計算＋深層学習 • [M. Suganuma et al.] Exploiting the potential of standard convolutional autoencoders for image restoration by evolutionary search, ICML 2018 • [M. Suganuma et al.] A genetic programming approach to designing convolutional neural network architectures, GECCO 2017 (Best paper award)
- 3. DLベースのSLAMにおいてもネットワーク構造は重要 (なはず) • 精度，処理速度に大きな影響 • 構造設計には労力がかかる 3 Why architecture search? CodeSLAM [Bloesch et al. 2018] DeepTAM [Zhou et al. 2018] CNN-SLAM [Tateno et al. 2017]
- 4. 4 Manual vs Auto PSNR results Noise level REDNet [Mao et al., 2016] MemNet [Tai et al., 2017] Designed arch. [Suganuma et al., 2018] 𝜎 = 30 27.95 28.04 28.23 𝜎 = 50 25.75 25.86 26.17 𝜎 = 70 24.37 24.53 24.83 REDNet 30 MemNet 80 Designed arch. 15 Depth of the network MemNet architecture [Tai et al. ICCV 2017] Designed architecture [Suganuma et al. ICML 2018]
- 5. CNNの構造最適化手法の概要 • 探索アルゴリズム，探索空間，研究例などの紹介 性能と処理速度を考慮した構造最適化手法の紹介 • MnasNet: Platform-Aware Neural Architecture Search for Mobile • Mingxing Tan et al., Google Brain • arXiv:1807.11626v1 5 発表内容
- 6. 6 構造最適化手法の大まかな内訳 探索範囲 • ネットワーク全体 (macro) • 1つ or 複数のセル (micro) 探索アルゴリズム • Reinforcement Learning (RL) • Evolutionary Algorithm (EA) • Gradient-based method (GB) • Sequential Model-based Optimization (SMBO) 高速化テクニック • Weight sharing • Proxy metrics + +
- 7. 7 最近の構造最適化手法 (CIFAR-10での性能) GPU days Accuracy 1.0 16800 0.9308 0.5 10 MetaQNN [ICLR 2017] NAS [ICLR 2017] 0.9635 Efficient AS [AAAI 2018] 0.9577 ENAS [ICML 2018] 0.9711 NASNet-A [CVPR 2018]0.9735 1800 CGPCNN [GECCO 2017] 30 0.9503 Large-scale Evolution [ICML 2017] 2700 0.9460 Hierarchical Evolution [ICLR 2018] 300 AmoebaNet [arXiv 2018]0.9745 3150 PNAS [ECCV 2018] 0.9659 225 DARTS [arXiv 2018] 4 RL EA …… DenseNet SMBOGB
- 8. Large-scale Evolution [Real et al., ICML2017] • シンプルな遺伝的アルゴリズム (GA)を用いた手法 • GPU250台使用 8 進化計算による構造最適化例 進化の様子
- 9. Large-scale Evolution [Real et al., ICML2017] • Mutationの種類 • Conv層の追加 • Conv層の除去 • strideの変更 • チャネル数の変更 • フィルタサイズの変更 • skip connectionの追加 • skip connectionの削除 • 学習率の変更 • 重みの初期化 9 進化計算による構造最適化例 current individuals next individuals a. 2個体を選択 b. 2個体を比較し， 良い方を残す c. 新しい個体を 生成 (mutation) d. a〜cの繰返し
- 10. 10 強化学習による構造最適化例 Neural Architecture Search (NAS) [Zoph et al., ICLR2017] 1. RNNでCNNの各層のハイパーパラメータ（フィルタ数/サイズなど）を出力 2. CNNをtraining setで訓練し，validation setで性能評価（報酬R） 3. 報酬Rの期待値を最大化するように強化学習(policy gradient)でRNNの パラメータを最適化 • GPU800台使用（ ＞人間を大学まで通わせる金額） 𝐽 𝜃𝑐 = 𝐸 𝑃(𝑎1:𝑇;𝜃)[𝑅] ∇ 𝜃 𝑐 𝐽 𝜃𝑐 = 𝑡=1 𝑇 𝐸 𝑃(𝑎1:𝑇;𝜃 𝑐)[∇ 𝜃 𝑐 log𝑃 𝑎 𝑡 𝑎 𝑡−1:1; 𝜃𝑐 𝑅]
- 11. 11 強化学習による構造最適化例 Neural Architecture Search (NAS) [Zoph et al., ICLR2017] • CIFAR-10で獲得された構造 • 各層の入力が複数ある場合はチャネルを結合 • 7 × 7のフィルタが多く使われている • skip connectionが多い • Large-scale evolutionとは対照的
- 12. 12 強化学習による構造最適化例 NASNet [Zoph et al., CVPR2018] • ネットワーク全体ではなく，2種類のセルの最適化を行う • それらのセルを繰り返したものがネットワーク全体の構造を表す • セル内のハイパーパラメータ（演算種類や接続関係）をRNNで探索（NASと同様） • GPU500台使用 セルの例 全体のネット ワーク構造
- 13. DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures [Dong et al., ECCV 2018] • childすべてを学習するのではなく，surrogate functionによって性能○と判断された childのみ学習を行う • surrogate functionはRNN．入力はarch.の符号化したもの，出力はchildのaccuracy • Mutation → surrogate functionによる予測 → 選択 → Train → Mutation → … の繰り返し • Mutationは層の追加 (conv. or norm/act) 13 SMBOによる構造最適化例 処理の流れ Surrogate function
- 15. Efficient Neural Architecture Search via Parameter Sharing [Pham et al., ICML2018] • 探索空間をDirected acyclic graphで定義し，subgraphをchildとみなす • child間で重みを共有する（スクラッチから学習しない） • あらかじめ入力しうる数の重みを保持しておき，入力に応じて切り替える • 1GPU, 0.45 day の探索で 2.89% の error rateを達成 (CIFAR-10) 15 Weight sharing DAG（探索空間） RNN (DAGのノード数が4の場合) Child
- 16. MnasNet: Platform-Aware Neural Architecture Search for Mobile • Mingxing Tan et al., Google Brain • arXiv:1807.11626v1 16 紹介する論文 • 性能だけでなく，modelの処理速度も考慮した多目的構造最適化 手法 • mobile phoneでの実行速度を最適化に使用
- 17. Contributions • 性能と処理速度の多目的最適化によるCNNの構造最適化を達成 • 新しい探索空間の提案 • 従来のmobile CNN modelsと比較して，ImageNetでのクラス分類と COCOでの物体検出において優れた性能を示した 17 MnasNet: Platform-Aware Neural Architecture Search for Mobile 従来研究との差異 • 明示的に処理速度情報を目的関数に導入 • 従来研究では性能(accuracy)のみをもとに最適化していた • 新しい探索空間の提案 • factorized hierarchical search space Latency Errorrate
- 18. ただ1つの最適解を求めるのではなく，パレート最適解の集合を求める パレート最適解 ある解𝐱0を優越する解𝐱が存在しないとき，𝐱 𝟎をパレート最適解という ※ 𝑓𝑖 𝐱1 ≤ 𝑓𝑖 𝐱2 (∀i = 1,2, … , 𝑘) のとき，𝐱 𝟏は𝐱 𝟐を優越するという 18 多目的最適化 例. 𝑘 = 2の場合 ( 𝑓1 𝐱 = 𝑒𝑟𝑟𝑜𝑟 𝐱 , 𝑓2 𝐱 = 𝑙𝑎𝑡𝑒𝑛𝑐𝑦 𝐱 ) 解領域 𝑓1 𝑓2 パレート最適解
- 19. Procedures 1. RNNからCNN modelをサンプル (NASNetと同様) 2. 対象タスクで訓練，性能評価 3. モバイル上で実行し，推論時のlatencyを取得 4. 報酬を計算 5. 報酬の期待値を最大化するようにRNNの パラメータをProximal Policy Optimizationで更新 19 𝑅𝑒𝑤𝑎𝑟𝑑(𝑚) = 𝐴𝐶𝐶(𝑚) ∙ 𝐿𝐴𝑇 𝑚 𝑇 𝑤 𝑤 = 𝛼, 𝑖𝑓 𝐿𝐴𝑇(𝑚) ≤ 𝑇 𝛽, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝑇 = 80𝑚𝑠, 𝛼 = 𝛽 = −0.07 を論文では使用 wはlatencyに関する制約 MnasNet: Platform-Aware Neural Architecture Search for Mobile
- 20. Factorized Hierarchical Search Space • 全体のネットワークを複数のBlockに分割 • 各Block i では，同じレイヤがNi層繰り返される • 各Block i でレイヤを探索する • この点が先行研究との違い • 先行研究では同一のレイヤを積み重ねて全体ネットワークを構築 20 MnasNet: Platform-Aware Neural Architecture Search for Mobile
- 21. 各ブロックの探索空間 • Convolutionの種類 • regular conv, depth-wise conv, mobile inverted bottleneck conv • カーネルサイズ • 3 × 3, 5 × 5 • Skip operation • max or average pooling, identity residual skip, no skip path • 出力チャネル数 • レイヤのstack数 21 MnasNet: Platform-Aware Neural Architecture Search for Mobile identity residual skip
- 23. 23 ImageNet Classification results MobileNet (manual) と比べても優れた性能を示している • 精度が同等のとき，1.55✕ faster • latencyが同等のとき，2%の精度向上
- 26. 26 獲得された構造例 先行研究と比べて5 × 5フィルタが多く使 用されている • チャネル数が7以上のときは2つの3 × 3 フィルタより1つの5 × 5フィルタの方が 計算量は少ない (depthwise conv.を使用)
- 27. MnasNet-92をSSD300と比較して • パラメータ数が 1/7 • 演算数が 1/35 • 性能は同等 27 COCO object detection results MnasNetをSSDのfeature extractorとして利用
- 28. とにかく計算コストが高い • 抑えるために探索空間を削減すると，experts’ design biasが入ってしまう＆ ランダムサーチでも十分な結果を取得可能 →探索の必要性？ 28 構造最適化手法に対する所感 依然として人間の design bias が入っている • 本当の意味で新しい構造探索をしているとは思えない • が，性能の底上げとしては○．先行研究の構造を最適化することでSOTAを 出すことも Future work • いろんなタスクに適用し，有用性をもう少し検証する必要あり • ResNet みたいな汎用的な構造を探索
Notas do Editor
- I will talk about image restoration using evolutionary search. Image restoration is to recover a clean image from its corrupted version. These are image restoration tasks, image inpainting and denoising.
- In order to solve this task, learning-based methods which use CNNs have been introduced, and have shown good performance. In these studies, researchers have approached the problem mainly from two directions. One is to design new network architectures. For example, the network of the bottom left is called MemNet, which contains many recursive connections and gate units. The other is to develop new loss functions or training methods. A recent trend is to use adversarial training, in which a generator is trained to perform image restoration, and a discriminator is trained to distinguish whether an input image is true image or a recovered one.