ae-3. ディープラーニングの基礎
•Transferir como PPTX, PDF•
0 gostou•862 visualizações
トピックス：ディープラーニングの仕組み, ディープラーニングの歴史, ディープニューラルネットワークの種類, 画像データ, ディープラーニングのモデル, 学習済みモデル, ディープラーニング, 人工知能 ディープラーニング（スライドとプログラム例，Python を使用）（全１５回） https://www.kkaneko.jp/ai/ae/index.html 金子邦彦研究室ホームページ https://www.kkaneko.jp/index.html
Recomendados
Mais conteúdo relacionado
Semelhante a ae-3. ディープラーニングの基礎
Semelhante a ae-3. ディープラーニングの基礎 (20)
Mais de kunihikokaneko1
Mais de kunihikokaneko1 (20)
ae-3. ディープラーニングの基礎
- 2. アウトライン 2 番号 項目 復習 3-1 ディープラーニングの概要 3-2 ディープラーニングの仕組み 3-3 ディープラーニングの歴史，ディープニューラル ネットワークの種類 3-4 画像データ 3-5 ディープラーニングのモデル，学習済みモデル 3-6 Python の関数 各自、資料を読み返したり、課題に取り組んだりも行う
- 4. 機械学習が目標とする作業 ルール化，プログラム化が難しい作業 • 直感 • 主観 • 経験 → 人間にたやすい しかし，プログラム化は困難 4
- 6. 機械学習での汎化 6 入力 正解 ９ ５００ １１ ５００ １２ １０００ １４ １０００ 訓練データ 訓練データの汎化 入力 予測結果 ７ ５００ ８ ５００ ９ ５００ １０ ５００ １１ ５００ １２ １０００ １３ １０００ １４ １０００ １５ １０００ １６ １０００ • 汎化は１００％成功するわけでない． • 訓練データとは別のデータ（検証データ）を 用いて検証する 汎化により，未知のデータ についても予測ができるよ うになる
- 8. ニューラルネットワークの原理 ニューラルネットワークのユニットは，数理により 動く ① 入力は複数 ② 入力を重みづけし合計をとる ③ その合計から出力値を得る 8 0.3 × 0.1 ⇒ 0.03 -0.5 × 0.8 ⇒ -0.4 0.2 × -0.5 ⇒ -0.1 合計 -0.47 合計に 応じた出力値 0.3846
- 13. 機械学習へのさまざまなアプローチ • ディープラーニング • 層の浅い（層の数が少ない） ニューラルネットワークの利用 • 決定木 • 線形回帰 • クラスタリング など多数 13 ニューラル ネットワーク それ以外 ディープラーニングは，他を性能・機能で上回る場合 があるが，ディープラーニングだけで済むというわ けではない
- 15. ディープラーニングへの期待 15 さまざまなレベルのパターン MIT Introduction to Deep Learning | 6.S191, https://www.youtube.com/watch?v=5tvmMX8r_OM の「Why Deep Learning」のページ 線や点のレベル 目，鼻，耳のレベル 顔の構造のレベル
- 18. ニューラルネットワーク • 機械学習の能力を持つ． • コンピュータで動作． • ユニットがつながり，ニューラルネットネット ワークを構成． 18 入力データ 出力データ ユニット ユニット ユニット ユニット間 の結合 ユニット間 の結合
- 19. ニューラルネットワークの仕組み 19 入力層 中間層 出力層 〇 はニューロン，線は結合 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 〇 全結合のときは， 次層の全ニュー ロンと結合する 全結合のときは， 次層の全ニュー ロンと結合する • 前の層から結果を受けとって，次の層へ結果を 渡す （他の結合は書 いていない） （他の結合は書 いていない）
- 20. ニューラルネットワークのユニット ニューラルネットワークのユニットは，数理により 動く ① 入力は複数 ② 入力を重みづけし合計をとる ③ その合計から出力値を得る 20 入力 1 2 3 4 5 6 7 8 9 1 1 2 1 3 1 4 0 5 1 6 1 7 0 8 0 9 1 白黒の画像 （画素は 0 または 1） 重み w1 ～ w9 ユニット w1 w2 w3 w4 w5 w6 w7 w8 w9 合計 ・合計に，バイアスという値を 足し引きしたあと，活性化関数 が適用され出力値が得られる． ・活性化関数はさまざまな種類 シグモイド ReLU （2011年発表） 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 合計は， 1 × w1 + 1 × w2 + 1 × w3 + 0 × w4 + 1 × w5 + 1 × w6 + 0 × w7 + 0 × w8 + 1 × w9
- 21. 21 入力 正解 1, 1 1 0, 1 0 1, 0 0 0, 0 1 訓練データ ユニット 1 1 重み ユニット 1 1 重み 活性化関数 ReLU 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 重み -1 2 ReLU + バイアス （バイアス は +1） 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 ReLU + バイアス （バイアス は -1） 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 1 2
- 22. 22 1, 1 1 0, 1 0 1, 0 0 0, 0 1 1 1 1 1 ReLU 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 -1 2 2.0 1.0 0 -2.0 -1.0 0.0 1.0 2.0 それぞれのユニットが「特定のパターンを識別して いる」と考えることもできる ユニットが 識別する パターン ユニットが 識別する パターン ユニットが 識別する パターン 1 2 ReLU + バイアス （バイアス は +1） ReLU + バイアス （バイアス は -1）
- 23. 学習では，結合の重みとバイアスの調整により，訓練 データのパターンをより正確に認識できるようになる 23 1 2 3 4 5 6 7 8 9 1 1 2 1 3 1 4 0 5 1 6 1 7 0 8 0 9 1 ユニット 1 1 1 0 1 1 0 0 1 合計 重み 高い活性度
- 24. ニューラルネットワークでの教師あり学習 24 入力 結果 正解 0.8 1 結果 正解 0.4 0 誤差 誤差が少なくなるように， 結合の重みとバイアスを調整 ＝ニューラルネットワークの学習
- 25. バックプロパゲーション 25 重みの変化のみで学習を行う （学習の途中で，ユニットの種類や数が変化するわけではない） ３層目の重み ２層目の重み １層目の重み ① まず，３層目の重みを調整して，誤差を最小化 ② ①の次に，２層目の重みを調整して，誤差を最小化 ③ ②の次に，１層目の重みを調整して，誤差を最小化
- 26. ニューラルネットワークの教師あり学習 26 • 訓練データ（学習のためのデータ）を使用 • 学習は自動で行われる ① 訓練データにより，ニューラルネットから結果を出し，正 解との誤差を得る ② ユニット間の結合の重みの調整により、誤差を減らす
- 28. 2011年までの常識 機械学習の難問：組み合わせが多すぎる場合 28 それほど 難しくない問題 ２マスのパターン ３マスのパターン （４通り） （８通り） 難しい問題 １００マスのパターン 1267650600228229401496703205376 通り （およそ１兆の１兆の１２６万倍） 組み合わせが多い …
- 29. 2011年までの常識 機械学習の難問：組み合わせが多すぎる場合 • カラー画像: サイズ 32×32 の場合 → 画素数: 32 × 32 × 3，階調 256 約 12000 … 000 通り • ステレオ音声: 10秒間，サンプリング周波数 44100Hz の場合 → 10 × 44100，階調 256 約 1000 … 000 通り 29 7397個の 0 1062033個の 0
- 30. 組み合わせが大きいと何が問題なのか？ • 計算時間 （実はそれほど大問題ではない） • 汎化に失敗し，過学習が発生 30
- 31. 機械学習での汎化 31 入力 正解 ９ ５００ １１ ５００ １２ １０００ １４ １０００ 訓練データ 訓練データの汎化 入力 予測結果 ７ ５００ ８ ５００ ９ ５００ １０ ５００ １１ ５００ １２ １０００ １３ １０００ １４ １０００ １５ １０００ １６ １０００ • 汎化は１００％成功するわけでない． • 訓練データとは別のデータ（検証データ）を 用いて検証する 汎化により，未知のデータ についても予測ができるよ うになる
- 33. 2011年までの常識 • 汎化の失敗，過学習が難問であり， 「ニューラルネットワークは面白いが，実用性は？」 と考えられる場合も • ニューラルネットワークでは，ユニットの数が少な いほど，汎化が成功する傾向がある • そうなると，ニューラルネットワークの層の数を増 やすことは，想定外とも 33 このページは、私の個人的な見解です
- 34. 2012年の進展 • 従来からある技術と，新技術の組み合わせ 【新技術の例】 • 非線形性の正規化 (rectified nonlinearity), 2009年 • 活性化関数の ReLU, 2011年 • ドロップアウト さらなる進展： He の初期化, 2015年 など • 巨大な訓練データの利用，高速に学修を行う技術 → 過学習を抑止しながら， ディープラーニングが役に立つ場合がある ことの発見 34
- 35. 将来のコンピュータの進展 所説あります 35 年 コンピュータで扱 えるユニット数の 規模 2010年 100,000個 2020年 2,000,000個 2030年 50,000,000個 2040年 1,000,000,000個 2050年 20,000,000,000個 • カタツムリ 11,000 • ロブスター 100,000 • アリ 250,000 • カエル 16,000,000 • ハツカネズミ 71,000,000 • タコ 500,000,000 • ネコ 760,000,000 • ヒト 86,000,000,000 • アフリカゾウ 257,000,000,000 神経細胞の数（推定値） Wikipeida の記事: https://ja.wikipedia.org/wiki/%E5%8B%95%E7%89%A9%E3%81%AE% E3%83%8B%E3%83%A5%E3%83%BC%E3%83%AD%E3%83%B3%E3% 81%AE%E6%95%B0%E3%81%AE%E4%B8%80%E8%A6%A7 より 2055年ごろには、数は人間を上回る 「数があればよい」 というわけではあり ません
- 36. 教師なし学習のニュース (2011年） • 教師なし学習（この画像が「人の画像である」，「猫であ る」という正解がない） • 訓練データ: YouTube からランダムに選ばれた画像 1000万枚 • 1000台のマシンで，3日間の学習 • 9層のニューラルネットワークを使用 36 文献: Building high-level features using large scale unsupervised learning Quoc V. Le, Marc'Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeff Dean, Andrew Y. Ng, arXiv 1112.6209, 2011, last revised 2012. 人の顔のみに 反応するユニット 猫の顔のみに 反応するユニット 高次のパターンを認識 できる能力を獲得 特定の線や点に 反応するユニット 目や鼻や口に 反応するユニット
- 37. 教師あり学習のニュース (2012年） • 教師あり学習の AlexNet で画像分類を行う • 訓練データ: 画像約 100万枚以上（ImageNet データセット， 22000種類に分類済み） • ILSVRCコンペティション: 画像を 1000 種類に分類 • ディープニューラルネットワークを使用 畳み込み, max pooling, 正規化(LCN), softmax, ReLU, ドロップアウト 37 文献: ImageNet classification with deep convolutional neural networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, NIPS'12, 2012. 全 結 合 全 結 合 全 結 合 畳 み 込 み 畳 み 込 み 畳 み 込 み 畳 み 込 み max pooling max pooling max pooling 畳 み 込 み L C N L C N
- 38. 画像分類の精度の向上 • ディープラーニングの進展 • 画像分類は，場合によっては，AI が人間と同等の精度 とも考えら るように 画像分類の誤り率 (top 5 error) 人間: 5.1 % PReLU による画像分類: 4.9 % （2015年発表） 38 ImageNet データセット の画像分類の結果 文献: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification arXiv:1502.01852, 2015.
- 39. ディープラーニング • 学習による上達の能力 • 訓練データを使用して，学習を行う • 巨大な訓練データ，深い層のニューラルネット ワークの利用により，良好な性能・機能を発揮す る場合も 39
- 40. 3-4 画像データ 40
- 43. 濃淡画像でのコード化 43 画像の輝度の情報 例えば： 黒 ＝ ０， 暗い灰色 ＝ １， 明るい灰色 ＝ ２， 白 ＝ ３ のようにコード化 画素 幅: 8 高さ: 8 輝度が４段階の場合： 0 1 2 3
- 44. カラー画像の成分 • R（赤）成分，G（緑）成分，B（青）成分で考え る場合 • 輝度成分，色成分で考える場合 44 R（赤）成分 G（緑）成分 B（青）成分 輝度成分 色成分
- 49. ImageNet データセット • カラー画像 約140万枚（最新版） • 1000 種類に分類済み • インターネットで公開されている • 画像分類を行う AI の訓練データとして利用できる 49 文献: ImageNet Large Scale Visual Recognition Challenge Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, Li Fei-Fei
- 50. ディープラーニングの学習済みモデル • 有名なデータ（ImageNet データセット）で学習済み のモデルは，インターネットで公開されていることが 多い 【転移学習の考え方】 ① 学習済みのモデルがある ImageNet データセットで学習済みの場合には， 所定の 1000種類に画像分類を行うように学習済み ② 結合の重みを凍結，などを行う ③ ①とは別の画像分類に使えるように，最終層を交換． そして，最終層の結合の重みについてのみ学習 50
- 51. 3-6 式の抽象化と関数 51
- 52. 式の抽象化 52 類似した複数の式 変数 a を使って，複数 の式を１つにまとめる （抽象化） a * 1.1 100 * 1.1 150 * 1.1 400 * 1.1
- 53. 関数 53 類似した複数の式 変数 a を使って，複数 の式を１つにまとめる （抽象化） a * 1.1 100 * 1.1 150 * 1.1 400 * 1.1 式「a * 1.1」を含む 関数 foo を定義 関数 foo を使用． 100, 150, 400 は引数
- 54. 関数 54 • この関数の本体は 「return a * 1.1」 • この関数は，式「a * 1.1」に，名前 foo を付 けたものと考えることもできる
- 56. １つ目の演習 • ニューラルネットワークを，足し算，掛け算， max （2つの値のうち最大値），関数で作る 56 1, 1 1 0, 1 0 1, 0 0 0, 0 1 https://colab.research.google.com/drive/1k3YbTbQkZXlWw91DBXoHdU1_wd7LbFF3?usp=sharing
- 57. ２つ目の演習 • 画像分類の実行を行うプログラム • ImageNet データセットで学習済みのディープ ニューラルネットワークを使用 57 https://colab.research.google.com/drive/1TM0bbEUcAyHhsWzlgfetO-WYaf9tcnJE?usp=sharing