Introducing the paper "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning" presented in ICML2016 (in Japanese). Updated version of https://www.slideshare.net/akisatokimura/paper-reading-dropout-as-a-bayesian-approximation-representing-model-uncertainty-in-deep-learning

1. 論文紹介
“Dropout as a Bayesian Approximation:
Representing Model Uncertainty in Deep Learning”
Akisato Kimura (@_akisato)
https://akisatok.github.io

2. 本日紹介する論文
• Presented @ ICML 2016
• Citations @ Google Scholar = 1120 (on Aug 25, 2019)
http://proceedings.mlr.press/v48/gal16.pdf
2

3. 論文の概略
• 機械学習モデル（主にニューラルネットワークを想定）の
予測がどの程度自信があるかを知りたい．
• 実装はとても簡単．
1. [学習] Dropoutを入れてニューラルネットワークを学習．
2. [推論] 以下をT回繰り返す．
1. Dropoutして予測値を得る．
3. [出力] T回の予測値の平均値と分散を得る．
• 予測平均 ＝ 最終的な予測値
• 予測分散 ＝ 予測値の不確かさ
3

4. 今日の目的
• 簡単な実装の裏側にある理論を知る．
• どこまで何をやって良いのかを知るために
• できるだけ難しく考えずに済むように頑張る．
• 原論文ではガウス過程を用いた近似による導出が紹介されていますが，
はっきり言って大変わかりにくいです．
• 今回は第一著者の博士論文をベースに紹介します．
http://mlg.eng.cam.ac.uk/yarin/thesis/thesis.pdf
4

5. 不確かさ って何？
• モデルがその予測値にどれだけ自信を持っているか？ を表現
5
Estimated
Depth
Uncertainty
Bayesian
depth
estimator
https://alexgkendall.com/computer_vision/bayesian_deep_learning_for_safe_ai/

6. 不確かさ がわかった気になる簡単な例
• 手元にある1枚の画像に写っているのが犬か猫かを当てます．
• 異なる3つのモデルに確率的な操作 (ex. dropout) を加えて，
以下の出力を得ました．どのモデルの不確かさが高い？
6
1. 何回予測しても 100%犬で間違いない と返す．
2. 何回予測しても 犬か猫か50%/50% だと返す．
3. 予測の半分は 100%犬 で，残り半分は 100%猫．

7. 不確かさ がわかった気になる簡単な例
• 手元にある1枚の画像に写っているのが犬か猫かを当てます．
• 異なる3つのモデルに確率的な操作 (ex. dropout) を加えて，
以下の出力を得ました．どのモデルの不確かさが高い？
7
1. 何回予測しても 100% 犬で間違いないと返す．
→ モデルの不確かさ：低，予測の不確かさ：低
2. 何回予測しても 犬か猫か 50%/50% だと返す．
→ モデルの不確かさ：低，予測の不確かさ：高
3. 予測の半分は 100%犬で，残り半分は 100%猫．
→ モデルの不確かさ：高，予測の不確かさ：高

8. 不確かさ の種類
• モデルの不確かさ (Epistemic / model uncertainty)
• 学習データには含まれないデータに対する不確かさ
• 学習データが十分にあれば，この不確かさは減らせる．
• 今回の論文の目的は，この不確かさを得ること．
• 偶発的な不確かさ (Aleatoric / predictive uncertainty)
• データが説明できない情報に関する不確かさ
• 例： オクルージョン（隠れて見えず），サチュレーション（白飛び）
• 2種類の不確かさ： データ依存なもの，データ非依存なもの
• (準備する)時間があれば後で説明します．
8

9. 少し寄り道
• 1−Softmax出力 ≠ 分類問題におけるモデルの不確かさ
• Softmax出力は (特にNNでは) 学習データのない範囲で
過剰に大きな値を出力する傾向にある．
9
学習データの存在範囲 学習データの存在範囲
テストデータ テストデータ
Softmaxをかける前 Softmaxをかけた後

10. 不確かさ を数式で表す
• 学習データ (𝑿, 𝒀) に基づきテストデータ (𝒙, 𝒚) を予測
10
モデルパラメータの事後確率
→ 計算が大変！！！
モデル予測
モデル＝L層のNN であれば
平均＝予測値
分散＝不確かさ

11. パラメータ事後分布を近似する
• 事後分布 𝑝(𝒘|𝑿, 𝒀) をより簡単な分布 𝑞 𝜃(𝒘) で (変分)近似する
• 近似前後の分布を近づけたい
11
事前分布に近い分布が欲しいデータにフィットして欲しい
入力 𝒙𝑖 に対するモデル出力

12. 変分分布を書き直す
• 変分分布 𝑞 𝜃(𝒘) を別の分布 𝑝(𝝐) で書き直す．
12
→ Monte-Carloサンプリングで積分を近似
≈ −
𝑁
𝑀
𝑖∈𝑆
log 𝑝 𝒚𝑖 𝒇 𝑔 𝜃,𝝐 𝑖 𝒙𝑖 + KL(𝑞 𝜃(𝒘)||𝑝(𝒘))
→ 変分分布のパラメータ 𝜽 をモデル側に押しつける
≈
→ Mサンプルのミニバッチで計算を軽くする

13. 変分分布を求める
13
ℒ 𝑉𝐼(𝜃) を損失関数とする
確率的勾配法 (SGD) で最適化

14. ここまでをまとめると
• 不確かさを計算するには，パラメータの事後分布が必要．
でも正確な計算はとても大変．
• パラメータの事後確率を変分近似して「頑張る」と，
近似分布が得られる．
14

15. Dropout の話をします
• 簡単のために，隠れ層が1層だけのNNを考える．
• 確率 𝑝𝑖 で要素が0になるバイナリベクトル 𝜖𝑖 を導入すると，
dropoutは以下で書ける．
15
𝒚 = 𝜎 𝒙𝑴1 + 𝒃 𝑴2
𝒙 の要素をランダムに落とす操作

16. NNを学習します
• 先ほどのNNを学習する際の損失関数は
• 回帰問題で自乗誤差を採用すると
16
Weight decay
予測と正解を近づける任意の損失
ミニバッチ学習
この形そのものは分類問題でも適用可能
（詳細は後述）
「Yがモデル出力がちょっと揺らぐ」と言っているだけで，普遍的．

17. もう少しだけ式変形します
• 主要損失部分を p(y|f(x)) を使って書き直す
• この損失関数に基づいてNNをSGDで学習する
17
（ と考えると，
となることに注意．）

18. 最後の式，どこかで見覚えが．．．
• あ
18
1. KL部分を置き換える．
2. 定数 (1/𝜏𝑁) を掛ける．
:=

19. つまりどういうことか
• 以下の条件が満たされると仮定する．
1.
2. 𝑝(𝝐𝑖) を，確率 1 − 𝑝𝑖 で 1 を出力するベルヌーイ分布とする．
3. NN学習の損失関数をある特定の形にする
• 上記が満たされれば，以下の2つの事象は等価である．
1. NNのパラメータ事後分布 𝑝(𝒘|𝑿, 𝒀) と変分分布 𝑞 𝜃(𝒘) とを近づける
2. Dropoutを導入したNNを学習する
• 今回は簡単のため隠れ層1層のNNを考えたが，
同様の議論は他のNNでも成り立つ （導出は省略）．
19

20. 不確かさの計算をdropoutで
• テスト時にdropoutすれば，予測分布のモーメントを
近似的に求めることができる．
20
𝑝(𝝐) ∼ 𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(1 − 𝑝𝑖) でサンプリング，𝒘 = 𝑔(𝜃, 𝝐) で変換
T個の異なるパラメータ実現値
＝ T回の予測の度に異なるユニットをdropout

21. 不確かさの計算をdropoutで (cont.)
• テスト時にdropoutすれば，予測分布のモーメントを
近似的に求めることができる．
21

22. 残っている細かいこと
• となる分布？
22
, として，
隠れ層のユニット数を十分多くすれば，近似的に成り立つ．
（実際には，𝑝𝑖, 𝑙𝑖, 𝜆𝑖 を検証データで最適化して，
𝜏 を後から求める手順で進める．）

23. ここまでのまとめ
• 隠れ層1層の全結合型NNで自乗誤差基準回帰問題を解く場合，
以下の手順でモデルの不確かさを計算可能．
1. [学習] Dropoutを入れてニューラルネットワークを学習．
2. [推論] 以下をT回繰り返す．
1. Dropoutして予測値を得る．
3. [出力] T回の予測値の平均値と分散を得る．
• 予測平均 ＝ 最終的な予測値
• 予測分散 ＝ 予測値の不確かさ
• ただし，dropout率，NN重みの事前分布，weight decay係数を
検証データで最適化しておき，それに基づいて
モデル精度パラメータ 𝜏 を決定する必要がある． 23

24. 使える範囲を広くする
• 多階層NN
• P12-16の議論はNNの層の数には依存しないので，拡張可能．
• RNN
• どの時刻でも同じユニットがdropoutする実装を採用すれば，
全結合型とほぼ同じ議論が可能．
24

25. 使える範囲を広くする (cont.)
• CNN
• 通常のCNN学習において畳み込み層でdropoutを行うことは
それほど多くないが，理論的にも実験的にもすべての層で行うべき．
• 畳み込みも線形演算なので，全結合型とほぼ同じ議論が可能．
25

26. 使える範囲を広くする (cont.)
• 分類問題
• クラス数の次元を持つベクトルのsoftmaxを取ったものを
𝒚 = 𝑓(𝒙) と考えれば，損失関数の見た目は回帰の場合と同じ．
26
𝐸 𝑀1,𝑀2,𝑏
𝒙, 𝒚 = −𝒚⊤
log 𝑦 𝑑 𝑑=1
𝐷
= − log 𝑦 𝑑 𝑦
∶= − log 𝑝(𝒚|𝑓 𝑀,𝑀,𝑏
(𝒙))

27. 実用上必要なこと
• 結局，何回予測を繰り返せば良いの？
→ 実験的に調べる限りでは 数十回 で大丈夫らしい．
27

28. Further readings
• 元論文： http://jmlr.org/proceedings/papers/v48/gal16.html
28

29. Further readings
• 第一著者の博士論文：
http://www.cs.ox.ac.uk/people/yarin.gal/website/thesis/thesis.pdf
• 対応するブログポストもあります．
http://www.cs.ox.ac.uk/people/yarin.gal/website/blog_2248.html
http://www.cs.ox.ac.uk/people/yarin.gal/website/blog_3d801aa532c1ce.html
29

30. Further readings. (cont.)
• 第一著者の博士論文：
http://www.cs.ox.ac.uk/people/yarin.gal/website/thesis/thesis.pdf
• 対応するブログポストもあります．
http://www.cs.ox.ac.uk/people/yarin.gal/website/blog_2248.html
http://www.cs.ox.ac.uk/people/yarin.gal/website/blog_3d801aa532c1ce.html
• 日本語で読みたい方はこちらをどうぞ．
https://nykergoto.hatenablog.jp/entry/2017/08/14/ニューラルネットへのベイズ推
定_-_Baysian_Neural_Network
30

31. Further readings (cont.)
• 関連論文：
• “What Uncertainties Do We Need in Bayesian Deep Learning for
Computer Vision?” (NIPS2017)
https://arxiv.org/pdf/1703.04977.pdf
• 紹介ブログもあります．
https://alexgkendall.com/computer_vision/bayesian_deep_learning_for_safe_ai/
31

32. Further readings (cont.)
• 関連論文：
• 第一著者のpublicationsに数多くあります．
http://www.cs.ox.ac.uk/people/yarin.gal/website/publications.html
32

33. 33