20171201 dll#05 名古屋_pfn_hiroshi_maruyama
•
4 gostaram•2,557 visualizações
20171201 DLL名古屋でのPFN丸山宏の講演資料です。 「実用化が進む深層学習の今ー深層学習はインダストリアルIoTに何をもたらすのか？」
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 20171201 dll#05 名古屋_pfn_hiroshi_maruyama
Semelhante a 20171201 dll#05 名古屋_pfn_hiroshi_maruyama (20)
Mais de Preferred Networks
Mais de Preferred Networks (20)
Último
Último (7)
20171201 dll#05 名古屋_pfn_hiroshi_maruyama
- 1. 実用化が進む深層学習の今 - 深層学習はインダストリアル IoT に 何をもたらすのか？- 12/1, 2017 Preferred Networks, 丸山 宏 Deep Learning Lab
- 2. 2 深層学習とは何か – (状態を持たない)関数 Y = f(X)X Y 顔認識など出来合いのAPIを使うのならばこの理解で十分 超多次元、（連 続変数・カテゴ リ変数の任意の 組み合わせ） 判別・制御なら ば比較的低次元、 生成ならば超多 次元
- 3. 3 普通の関数の作り方: 例 摂氏から華氏への変換 double c2f(double c) { return 1.8*c + 32.0; } 入力: C 出力: F ただし、FはCを華氏で表したもの 仕様 実装 F = 1.8 * C + 32モデル 人が持つ 先験的知識
- 5. 5 学習はどのように動くか (Facebook Yann LeCunによる動画) https://code.facebook.com/pages/1902086376686983
- 6. ロボットビジョン： Amazon Picking Challenge 2016 6 2nd Place in the Picking Task
- 7. Consumer Electronics Show (CES) 2016 CESにおける自動運転デモ
- 9. 9
- 11. Auto Coloring Application: PaintsChainer
- 12. 12 汎用計算機構としての深層学習 桁違いに多いパラメタ — 任意の多次元非線形関数を近似 疑似的にチューリング完全！ Hiroshi Maruyama 出力（超多次元） 入力（超多次元）
- 13. 13 代償： 暴力的な計算リソース 1E〜100E Flops 自動運転車１台あたり1日 1TB 10台〜1000台, 100日分の走行データの学習 バイオ・ヘルスケア 音声認識 ロボット/ドローン 10P〜 Flops 1万人の5000時間分の音声データ 人工的に生成された10万時間の 音声データを基に学習 [Baidu 2015] 100P 〜 1E Flops 一人あたりゲノム解析で約10M個のSNPs 100万人で100PFlops、1億人で1EFlops 10P（画像) 〜 10E（映像） Flops 学習データ：1億枚の画像 10000クラス分類 数千ノードで6ヶ月 [Google 2015] 画像/ 映像認識 1E〜100E Flops 1台あたり年間1TB 100万台〜1億台から得られた データで学習する場合 自動運転 10PF 100EF100PF 1EF 10EF P:Peta E:Exa F:Flops 機械学習、深層学習は学習データが大きいほど高精度になる 現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる 各種推定値は1GBの学習データに対して1日で学習するためには 1TFlops必要だとして計算 学習を1日で終わらせるのに必要な計算リソース
- 16. 統計的機械学習の本質的限界
- 17. 統計的機械学習の本質的限界 (1) 17 訓練データ モデル 将来が過去と同じでないと正しく予測できない 時間軸 過去に観測された データに基いて学習 学習 学習済みモデルに基いて 新しい値を予測
- 19. 19 統計的機械学習の本質的限界 (3) 本質的に確率的 元分布 訓練データ 学習済みモデル サンプリングに バイアスが入る ことは避けられ ない！ 「100%の保証」は原理的にできない
- 22. Assessment PoC Pilot Deployment Maintenance • お客様の理解 度 • ビジネス目標 • 機械学習への 適合度 • データの入手 可能性 ： • データの量・ 品質は足りて いるか • 期待する精度 が達成できそ うか ： • ビジネスプロ セスへの組み 込みはうまく いったか • ビジネス目標 は達成できた か ： CP1 CP2 CP3 CP4 • 性能の監視 • データ・ドリフト の監視 ： 機械学習工学： 典型的なシステム構築サイクル より探索的
- 23. 23 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 24. 24 Neural Network Exchange Format 訓練
- 25. ONNX message ModelProto { optional int64 ir_version = 1; : optional GraphProto graph = 7; }; message GraphProto { repeated NodeProto node = 1; optional string name = 2; repeated TensorProto initializer = 5; optional string doc_string = 10; repeated ValueInfoProto input = 11; repeated ValueInfoProto output = 12; repeated ValueInfoProto value_info = 13; } message TensorProto { repeated int64 dims = 1; optional DataType data_type = 2; optional Segment segment = 3; repeated float float_data = 4 [packed = true]; : optional string name = 8; } message NodeProto { repeated string input = 1; repeated string output = 2; optional string name = 3; optional string op_type = 4; repeated AttributeProto attribute = 5; optional string doc_string = 6; } Node Tensor Tensor
- 26. 26 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 27. 機械学習システムは、高金利クレジット！ • CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っ ている • グルーコード、試験的なコード片な ど、すべてが将来のメインテナスの 悪夢につながる • … https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
- 29. 品質指標 – 多くの場合プロセス品質指標 http://www.ipa.go.jp/files/000028859.pdf How “safe” is this car? … is translated into process metrics 例： どのくらいレビュー に時間を割いたか？
- 30. 第3者による客観的な品質指標の可能性 How “safe” is this car? 非公開の評価用データ 自動化された、第3者による評価 評価 評価結果のみ を返す
- 31. 31 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 33. 33 IJCAIにおける自律性に関する議論 Keynote by Stuart Russell, “Provably Beneficial AI” — 人：「コーヒーをとってきて」 — ロボット： スタバへ行き、列に並んでいる他の客を殺してコーヒーを とってくる — 人の指示は常に不完全 どちらも、最適化問題における「正しい仕様のあり方」の問題を提起
- 35. 35 Thank You