ゼロから作るDeepLearning 3.3~3.6章 輪読

1. ゼロから作る
Deep Learning
§3.3 ~ §3.6
今井研究室 永吉秋平

2. 多次元配列
・数字の集合
・数字をN次元に並べる
・PythonではNumpyを用いる
5 7
1 3
5 7

3. 行列
・Numpyの二次元配列は行列に対応する
行
列

4. 行列の積
・行列の積の計算方法
1 × 5 + 2 × 7 = 19
3 × 5 + 4 × 7 = 43

5. 行列の積における要素数の一致
3 × 2 2 × 2 3 × 2
・隣接する要素の数は同じ

6. ニューラルネットワークと行列の積
1
2
3
4
5
X × W = Y
2 2 × 3 3
𝑥1 𝑥2 𝑦1 𝑦2 𝑦3

7. バイアス
1 b１
b2
b3
左図のようにバイアスも
ニューロンとすることで，
まとめて表す

8. 活性化関数
・重み付き和に
活性化関数を適用
したものを出力とする
・シグモイド関数や
ステップ関数など
h()
h()
h()
h()
h()

9. 出力層の活性化関数

10. ソフトマックス関数
・実装上の注意
・オーバーフロー対策
※exp(x)は𝑒 𝑥
を表す

11. ソフトマックス関数の特徴
・ソフトマックス関数の出力は0 ~ 1.0
・出力の総和は１
・出力を確率とみなせる
・分類問題に用いる

12. 出力層のニューロンの数
・クラス分類では，出力層のニューロンの数はクラス数
・例：０～９のどれなのか知りたい→10クラス
何らかの
計算
0
9
５
……
10個

13. MNISTデータセット
・手書き文字セットを用いる
・28×28ピクセル
・形式は1×28×28の３次元
または784の１次元

14. ニューラルネットワークの推論処理
・入力はMNIST
で28×28=784
・中間層は50，
100個のニューロ
ンの2つ
・出力は10
（0~9の数字に
分類する）
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
入力層 中間層１ 中間層２ 出力層

15. ニューラルネットワークの推論処理
・入力はMNISTで28×28=784
・中間層は50，100個のニューロンの2つ
・ここでは3層なので重みは3つ
・出力は10（0~9の数字に分類する）
X × W1 × W2 × W3 = Y
784 784×50 50×100 100×10 10

16. バッチ処理
・複数のデータをまとめて処理
・例：100件のデータをまとめて処理
X × W1 × W2 × W3 = Y
100×784 784×50 50×100 100×10 100×10

17. まとめ
・多次元配列や行列を用いると，効率的に実装ができる
・出力層の活性関数
・回帰問題→恒等関数
・分類問題→ソフトマックス関数
・分類問題の出力層のニューロンはクラスの数
・バッチ単位で処理を行うと計算が高速