Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 03_深層学習
Semelhante a 03_深層学習 (20)
03_深層学習
- 2. Section0：ニューラルネットワークの全体像 ✦ニューラルネットワーク（NN） • できること • 回帰：結果予想，ランキング • NN以外には，線形回帰，回帰木，ランダムフォレストなどがある • 分類：画像判別 • NN以外には，ベイズ分類，ロジスティック回帰，決定木などがある • 実用例 • 自動売買，チャットボット，翻訳，音声解釈，囲碁将棋（AlphaGO）
- 3. Section0：ニューラルネットワークの全体像 ✦確認テスト • Q：ディープラーニングは，結局何をやろうとしているか2行以内に述べよ • A：入力値から出力値を求めるための数学モデルを構築すること • Q：どの値の最適化が最終目的か？ • A：重み，バイアス • Q：次のネットワークを示せ • 入力層：2ノード1層，中間層：3ノード2層，出力層：1ノード1層
- 4. Section1：入力層∼中間層 ✦入力層はベクトルXとバイアスbで構成される ✦中間層にはベクトルXと重みWを掛けたものとバイアスの和uが入力される ✦中間層の出力は活性化関数f(・)にuを入力した値zとなる ✦上記を数式で表すと以下になる z = f(u) u = w1x1 + w2x2 + ⋯ + wnxn + b = Wx + b W = [w1, w2, ⋯, wn]T x = [x1, x2, ⋯, xn]T
- 5. Section1：入力層∼中間層 ✦確認テスト：下図に動物分類の実例を入れよ ✦Q：u=Wx+bをPythonで書け ✦A：u=np.dot(x,W)+b • 事前にimport numpy as npを行っている前提 x1 x2 x3 x4 b u z z = f(u) z A： ：体重， ：体長， ：足の長さ， ：耳の長さ x1 x2 x3 x4
- 8. Section1：入力層∼中間層 ✦実行画面キャプチャ ✦入力層が3つ＋バイアス1つ ✦中間層の出力が3つ • 重みは入力層のデータ数と中間層の出力データ数 の積で計算可能（今回なら4 3=12）
- 10. Section2：活性化関数 ✦活性化関数：NNにおいて，次の層への出力の大きさを決める非線形の関数 • 今までのf(・)がこれにあたる ✦中間層で用いられる活性化関数 • ReLU関数：入力が0以下なら0，0以上なら入力値を出力する • シグモイド関数：出力が0∼1を滑らかに変化する，勾配消失問題を起こす • ステップ関数：出力が0or1 ✦出力層で用いられる活性化関数 • ソフトマックス関数 • 恒等写像 • シグモイド関数 f(x) = 1 1 + e−x
- 11. Section2：活性化関数 ✦線形と非線形の違いを図に書いて説明せよ ✦A：グラフが直線系(y=ax+b)かそれ以外かの違い • 特に線形であるとは次のような条件を満たす • 加法性：f(x+y)=f(x)+f(y) • 斉次性：f(kx)=kf(x)
- 14. Section3：出力層 ✦出力層の役割 • 目的に合わせた出力にする必要がある • 例：物体認識の場合，その物体である確率 • 中間層は次の層への入力として，適した形にしている ✦誤差関数 • 出力層の出力と正解の値との誤差を考える ✦出力層の活性化関数 • 中間層との違い：信号の大きさはそのままに変換・分類問題の場合，出力を0∼1に限定 し，総和を1とする必要がある • 目的による活性化関数の選択 • 回帰：恒等写像 ， • 二値分類：シグモイド関数 • 多クラス分類：ソフトマックス関数 E(w) f(u) = u f(u) = 1 1 + e−u f(i, u) = eui ∑ K k=1 euk
- 15. Section3：出力層 ✦誤差関数の選択 • 回帰：二乗誤差 • • 二値分類，多クラス分類：交差エントロピー • En(w) = 1 2 I ∑ i=1 (yn − dn)2 En(w) = − I ∑ i=1 di log yi
- 16. Section3：出力層 ✦Q：なぜ，引き算でなく二乗するか述べよ ✦A：各誤差の引き算の和は常に0になるため，各値の二乗和を求めることで， 防ぐ（分散の計算式と似ている） ✦Q：下式の1/2はどういう意味を持つか述べよ ✦A：誤差逆伝播の計算を行う際に，微分をする必要がある．計算途中で^2の 影響で，係数2が乗算されるため，それを相殺することが目的 En(w) = 1 2 J ∑ j=1 (yj − dj)2 = 1 2 ||(y − d)||2
- 18. Section3：出力層 ✦Q：①∼②の数式に該当するソースコードを示し，1行ずつ処理の説明をせよ ①：cross_entropy_error(d, y) ②：-np.sum(np.log(y[np.arange(batch_size), d] + 1e-7)) / batch_size ↑対数の性質上，- に近づき過ぎることを避ける
- 20. Section4：勾配降下法 ✦DeepLearningの目的：学習を通じて，誤差を最小にする→そのようなパラメ ータを求める • 勾配降下法を利用して，パラメータを最適化 ✦数式で表した勾配降下法： • →誤差E(w)を最小化するパラメータwを見つける＝微分値が0にな る方に寄せる ✦ここで学習率εの影響率が大きい • 学習率大きい→最小値に着かず発散する • 学習率小さい→最小値に収束するまで時間がかかる ✦学習率の決定方法：Momentum, AdaGrad, Adadelta, Adam w(t+1) = w(t) − ϵ∇E ∇E = ∂E ∂w
- 21. Section4：勾配降下法 ✦確率的勾配降下法： ✦勾配降下法との違い • ランダムに抽出したサンプルの誤差 ✦メリット • データが冗長な場合の計算コストの軽減 • 局所極小解に収束するリスク軽減 • オンライン学習が可能 w(t+1) = w(t) − ϵ∇En
- 22. Section4：勾配降下法 ✦ミニバッチ勾配降下法： ここで， ✦確率勾配降下法との違い • ランダムに分割したデータの集合(ミニバッチ) に属するサンプルの平均誤差 ✦メリット • 確率勾配降下法のメリットを損なわず，計算資源を有効利用できる • →CPUを利用したスレッド並列化やGPUを利用したSIMD並列化 w(t+1) = w(t) − ϵ∇Et Et = 1 Nt ∑ n∈Dt En, Nt = |Dt | Dt
- 23. Section4：勾配降下法 ✦Q： に該当するソースコードを探せ ✦オンライン学習とは何か？ • 学習モデルに対して，データを逐次与える学習法．データを与える度に，パ ラメータを更新する． w(t+1) = w(t) − ϵ∇E A：network[key] -= learning_rate * grad[key]
- 24. Section4：勾配降下法 ✦Q： の意味を図に書いて説明せよ • tはエポックの番目 w(t+1) = w(t) − ϵ∇Et w(t) w(t+1) w(t+2) −ϵ∇Et −ϵ∇Et+1
- 25. Section4：勾配降下法
- 27. Section5：誤差逆伝播 ✦誤差逆伝播法では不要な再帰的処理を避けることができる．既に行った計算 結果を保持しているソースコードを抽出せよ • delta2 = functions.d_mean_squared_error(d, y) ✦次の式に該当するソースコードを探せ • ：delta2 = functions.d_mean_squared_error(d, y) • ：delta1 = np.dot(delta2, W2.T) * functions.d_sigmoid(z1) ∂E ∂y ∂y ∂u ∂E ∂y ∂y ∂u ∂u ∂w(2) ji
- 29. 深層学習day2
- 30. Section1：勾配消失問題 ✦誤差逆伝播が下位層に進んでいくに連れて，勾配がどんどん緩やかになってい く→下位層のパラメータはほとんど更新されず，最適値に収束しない ✦活性化関数による改善 • ReLU関数を用いる→値を小さくする恐れがない ✦初期値の設定方法 • Xavier：重みの要素を，前の層のノード数の平方根で除算した値 • He：Xavierの重みに 2を掛け合わせる値 ✦バッチ正規化 • ミニバッチ単位で，入力値のデータの偏りを抑制する手法 • 活性化関数に値を渡す前後に行う
- 31. Section1：勾配消失問題 ✦連鎖率の原理を使い，dz/dxを求めよ（z=t^2, t=x+y） • dz/dx = dz/dt dt/dx = (2t)(1) = 2t = 2(x+y) ✦シグモイド関数を微分した時，入力値が0の時に最大値を取る．その値として 正しいものを選択肢から選べ • 0.25 • ※活性化関数が全てシグモイド関数かつ最大値の場合 • 2層前で0.0625, 3層前で0.015625になることがわかる ✦重みの初期値に0を設定すると，どのような問題が発生するか • 各層への入力値が0となり，誤差逆伝播を効果的に行えない ✦一般的に考えられうバッチ正規化の効果を2点挙げよ • 中間層の重みの更新が安定する • 過学習を抑えることができる
- 32. Section1：勾配消失問題 ✦sigmoid - gauss ✦ReLU - gauss ✦sigmoid - Xavier ✦ReLU - He ✦2_2_2_vanishing_gradient_modified.ipynb
- 33. Section2：学習率最適化手法 ✦モメンタム • 誤差をパラメータで微分したものと学習率の積を減算した後，現在の重み に前回の重みを減算した値と慣性の積を加算する • 大域的最適解になる，最適値にいくまでの時間が早い ✦AdaGrad • 誤差をパラメータで微分したものと再定義した学習率の積を減算する • 勾配の緩やかな斜面に対して，最適値に近づける • 鞍点問題を引き起こすことがある（学習率が徐々に小さくなるため） ✦RMSProp（AdaGradの改良） • 誤差をパラメータで微分したものと再定義した学習率の積を減算する • 大域的最適解となる，ハイパラの調整が必要な場合が少ない ✦Adam • モメンタムとRMSPropの特徴を持つ，
- 34. Section2：学習率最適化手法 ✦モメンタム・AdaGrad・RMSPropの特徴を簡潔に説明せよ • モメンタム • 局所的最適解にはならず，大域的最適解となる • 谷間についてから最も低い位置にいくまでの時間が早い • AdaGrad • 勾配の緩やかな斜面に対して，最適値に近づける • RMSProp • 局所的最適解にはならず，大域的最適解となる • ハイパラの調整が必要な場合が少ない
- 35. Section2：学習率最適化手法 ✦2_4_optimizer.ipynb：今回の場合，RSMProp, Adamでは学習が上手くできている ✦SGD ✦AdaGrad ✦Momentum ✦RSMProp ✦Adam
- 36. Section3：過学習 ✦過学習：テスト誤差と訓練誤差とで学習曲線が乖離すること • モデルが訓練データにのみ有効になってしまっている＝汎化性が落ちる ✦Weight decay(荷重減衰) • 誤差に対して，正則化項を加算することで，重みを抑制する ✦L1正則化，L2正則化 • 正則化：ネットワークの自由度を制約 • 自由度；層の数，ノード数，パラメータ値など p=1 → L1正則化，p=2 → L2正則化 ✦ドロップアウト • ランダムにノードを削除して学習→データ量を減らさず，異なるモデルを学 習させていると解釈可能 ||x||p = (|x1 |p + |x2 |p + ⋯ + |xn |p ) 1 p
- 39. Section4：畳み込みニューラルネットワークの概念 ✦畳み込みニューラルネットワーク（CNN）を構成する層 • 入力層，畳み込み層，プーリング層，全結合層，出力層 ✦畳み込み層：画像の場合，縦・横・チャネル(RGBなど)の3次元データを学習 • 入力値にフィルターを掛けた出力値にバイアスを足す→活性化関数に通す • パディング：フィルタを通すと出力のサイズが小さくなる • →入力画像を大きくする • ストライド：フィルタが参照する入力画像のスキップサイズ • チャンネル：入力値のチャネル数にフィルタ数を合わせる ✦プーリング層：フィルタリング後の領域から最大値や平均値を取得する
- 40. Section4：畳み込みニューラルネットワークの概念 ✦サイズ6 6の入力画像を，サイズ2 2のフィルタで畳み込んだ時の出力画像の サイズを答えよ．（ストライド，パディングは1とする） • 7 7 • 高さ，幅は次式で表すことができる • 高さ＝(H+2P-F_h)/S + 1 • H：入力の高さ, P：パディング数, F_h：フィルタの高さ, S：ストライド • 幅＝(W+2P-F_w)/S + 1 • W：入力の幅, P：パディング数, F_w：フィルタの幅, S：ストライド ✦
- 43. Section5：最新のCNN ✦AlexNet • 2012年に発表された論文（DNNが初めて画像分類で勝利したモデル） • 224 224 3の画像を1000のパターンに画像分類することが目的 ✦AlexNetの構成 • 5つの畳み込み層(+max pooling)＋3つの全結合層 • 過学習を防ぐために，全結合層の出力にドロップアウトを用いる