「ベイズ推論による機械学習 入門」の輪読会資料（第２回、３章）。 https://reading-circle-beginners.connpass.com/event/133011/ ３章「ベイズ推論による学習と予測」の解説です。

1. 「ベイズ推論による機械学
習⼊⾨」 輪読会 #2
Ch.3 ベイズ推論による学習と予測
2019/06/09
@yoichi_t
0

2. • 時⽥ 陽⼀（@yoichi_t）
• 所属：株式会社Glia Computing
（https://www.glia-computing.com/）
• 2018年8⽉に設⽴（Co-Founder）
• 機械学習/データ分析のPoC、導⼊⽀援、コンサル
• 過去所属
• AI系ベンチャーにて、機械学習/データ分析のPoCなどを担当
• Web系広告会社にて、広告配信の最適化、ユーザ分析などを担当
• ⼤⼿警備会社研究所にて、⼈物⾏動の研究
⾃⼰紹介
1

3. • 時⽥ 陽⼀（@yoichi_t）
• チョコボールの秘密を解明するために、⽇々データを収集＆解析
⾃⼰紹介
チョコボール 統計
2

4. Chapter3 ベイズ推論による学習と予測
• 3.1 学習と予測
• 3.2 離散確率分布の学習と予測
• 3.3 1次元ガウス分布の学習と予測
• 3.4 多次元ガウス分布の学習と予測
• 3.5 線形回帰の例
p3章では、確率分布を使ってパラメータの事後分布の「推
定」と未知の値に対する「予測」を解析的に計算する
3

5. 3.1 学習と予測
• 学習 → データからモデルが持つパラメータを決定すること
• ベイズ推論ではモデルのパラメータは確率変数
• 学習(パラメータの決定) → パラメータの事後分布を推論する
• 未知の値に対しての予測
4
未知の値に対する予測
推論の導出
事後分布𝑝 𝑿 𝐷 =
%(',𝑿)
%(')
を求める
モデル構築
観測データDと道の変数Xに関して、同時分布p(D,X)を構築する
ここの基礎を解説
※1章解説資料より引⽤

6. 3.1.1 パラメータの事後分布
• データDからモデルが持つパラメータ𝜃を決定したい
• 条件付き分布𝑝(𝜃|𝐷)を計算する
• [モデル構築]
• 1章で解説した「グラフィカルモデル」を使うと視覚的に表現されてわか
りやすい
• パラメータ𝜃とデータDの同時分布
• 𝑝 𝐷, 𝜃 = 𝑝 𝐷 𝜃 𝑝(𝜃) (3.1)
• [推論]
• 条件付き分布𝑝 𝜃 𝐷
• 𝑝 𝜃 𝐷 =
% 𝐷 𝜃 %(,)
%(')
(3.2)
5
𝜃 𝑑
N
𝑝 𝐷 𝜃 →あるパラメータθからデータDがどの
ように⽣成されているのかを記述。尤度関数。

7. 3.1.2 予測分布
• [予測]
• 未観測のデータ𝑥∗の分布を求める
• 𝑝 𝑥∗ 𝐷 = ∫ 𝑝 𝑥∗ 𝜃 𝑝 𝜃 𝐷 𝑑𝜃 (3.3)
• グラフィカルモデルを使った理解
• 𝑝 𝐷, 𝑥∗, 𝜃 = 𝑝 𝐷 𝜃 𝑝(𝑥∗|𝜃)𝑝(𝜃) (3.4)
• 𝑝 𝑥∗, 𝜃|𝐷 =
% ',1∗,,
%(')
=
%(1∗|,)% 𝐷 𝜃 %(,)
%(')
= 𝑝 𝑥∗ 𝜃 𝑝(𝜃|𝐷) (3.5)
6
𝜃 𝐷
𝑥∗
推定したパラメータθを積分消去する
→ 𝑝 𝜃 𝐷 を重みとした重み付き平均のイメージ
最尤推定(点推定)と異なる考え⽅
関⼼のあるパラメータだけが残るように
θを積分消去してやる（(3.3)が導出される）

8. 3.1.3 共役事前分布
• 具体的に事後分布や予測分布を計算する
• 式(3.2),(3.3)は関数同⼠の積。解析解が得られない場合もある。
Ø 共役事前分布を使う（共役事前分布を使わない場合は4章）
• 事後分布(3.2)
7
𝑝 𝜃 𝐷 ∝ 𝑝 𝐷 𝜃 𝑝(𝜃)
事後分布 尤度関数 事前分布
共役事前分布：事後分布が事前分布と同じ種類の分布になる事前分布
事後分布を解析的に計算するための⽅法
逐次学習に便利
尤度関数によってペアが決まる（p.75, 表3.1）
e.g. 尤度関数に⼆項分布を使った場合（ベータ分布）
p 𝜃 𝐷 ∝
𝑁
𝑚
𝜃6
1 − 𝜃 9:6 ; <=>
; < ; >
𝜃<:?
1 − 𝜃 >:?
θに関する項が同じ形（3.2.1節で詳説）

9. 3.2 離散確率分布の学習と予測
• 3.2.1 ベルヌーイ分布の学習と予測
• 3.2.2 カテゴリ分布の学習と予測
• 3.2.3 ポアソン分布の学習と予測
• 具体的に離散分布を使ってパラメータの事後分布と予測分
布を計算してみる
8

10. 3.2.1 ベルヌーイ分布の学習と予測
• ベルヌーイ分布：2値の離散事象の確率分布
• 𝑝 𝑥 𝜇 = 𝜇1 1 − 𝜇 ?:1
• μ：⼀⽅の事象の発⽣確率
• x：{0,1}, 𝑋 = 𝑥?, ⋯ , 𝑥9
• パラメータμの事後分布
9
ベルヌーイ分布 ベータ分布
• ベルヌーイ分布の共役
事前分布
• (0,1)の範囲の確率分布
(3.13)
𝐵𝑒𝑡𝑎 𝜇 𝛼, 𝛽 =
Γ 𝛼 + 𝛽
Γ 𝛼 Γ 𝛽
𝜇<:?
1 − 𝜇 >:?
ということで、事後分布はベータ分布になる
ベータ分布の対数の形

11. 3.2.1 ベルヌーイ分布の学習と予測
• 事前分布の影響
10
事前分布
データが増えれば事
前分布の影響は⼩さ
くなる

12. 3.2.1 ベルヌーイ分布の学習と予測
• 未知の値𝑥∗の予測分布：パラメータμについての積分
11
(3.18)
• ベータ分布の性質（正規化項）
(3.21)
• 確率変数xは2値の確率変数
• ガンマ関数の性質（p.230, A.23）
データDを観測した後
(3.16)
(3.19,20)
• 2値確率変数をまとめる

13. 3.2.2 カテゴリ分布の学習と予測
• カテゴリ分布：K個のカテゴリの分布（K値の確率変数）
•
• π：𝝅 = (𝜋?, ⋯ , 𝜋M)N
, 𝜋Oはカテゴリiの発⽣確率
• s：𝒔 = (𝑠?, ⋯ , 𝑠R)N
, 𝑠Oはカテゴリiに属すか否かを⽰す, 1-hotベクトル
• パラメータπの事後分布
12
ディリクレ分布
(3.26)
(3.25)
ディリクレ分布の対数の形
(3.27) ということで、事後分布はディ
リクレ分布になる

14. 3.2.2 カテゴリ分布の学習と予測
• 未知の値𝑠∗の予測分布：パラメータπについての積分
13
• ディリクレ分布の性質（正規化項）
(3.29)
sはK次元の1-hotなベクトルなので、sの具体的な値を代⼊して整理
正規化したαをパラメータに持つ
カテゴリ分布になる
データSを観測した後の予測分布𝑝(𝑠∗|𝑆)は、上記のαを
(3.27)式の T𝛼に置き換える
(3.32)

15. 3.2.3 ポアソン分布の学習と予測
• ポアソン分布：平均λで整数（回数など）を⽣成する分布
• λ:発⽣する数の平均(正の実数)
• パラメータλの事後分布
14
(3.35)
ガンマ分布の対数の形
(3.36)
(3.37, 38)
ということで、事後分布はガンマ分布になる
ガンマ分布

16. 3.2.3 ポアソン分布の学習と予測
• 未知の値𝑥∗の予測分布：パラメータλについての積分
15
ガンマ分布𝐺𝑎𝑚(𝜆|𝑥∗ + 𝑎, 1 + 𝑏)の形
• ガンマ分布の性質（正規化項）
(3.42)
(3.43)
負の⼆項分布
データXを観測した後の予測分布𝑝(𝑠∗|𝑋)は、上記のa,bを
(3.38)式の T𝛼, X𝑏に置き換える
• 素直に展開（負の⼆項分布を意識）

17. 余談
• 離散分布の学習は実務でも⼿っ取り早くそこそこ使える（気がする）
• ベルヌーイ分布、⼆項分布：広告のクリック確率の推定
• カテゴリ分布：クラス分類
• ポアソン分布：不良品の発⽣数、アクセス数の推定
• 複雑化
① 単純なパラメータ推論
② パラメータの線形回帰（3.5節）
③ 説明変数を⾮線形変換した線形回帰（特徴抽出）
④ 多層化（NN）
16

18. 3.3 1次元ガウス分布の学習と予測
• 3.3.1 平均が未知の場合
• 3.3.2 精度が未知の場合
• 3.3.3 平均・精度が未知の場合
• ⽇常最もよく使われるガウス分布についてのベイズ推論
• 「平均」と「分散」の⼆つのパラメータがあるので、どのパラメー
タを未知とするかで結果が異なる
• 分散の代わりに精度𝜆 = 𝜎:Z(分散の逆数)を使う
17

19. 3.3.1 平均が未知の場合
• 1次元ガウス分布
• 𝑝 𝑥 𝜇 = 𝑁 𝑥 𝜇, 𝜆:? =
?
Z[
𝜆
] 𝑒𝑥𝑝 −
?
Z
(𝑥 − 𝜇)Z 𝜆
• パラメータμの事後分布
18
(3.49)
平均μの共役事前分布はガウス分布
(3.50)
(3.51)
素直に展開
μに関する２次関数
天下り的にこの式が導ける
• データを観測するほど事後分布の精度は上昇
• Nが⼤きければ、標本平均が⽀配的

20. 3.3.1 平均が未知の場合
• 未観測データ𝑥∗の予測分布
19
ベイズの定理と対数を使って計算を楽にする
(3.55)
𝑥∗と関係ない項は定数に⼊れちゃう
定数については全てconstにまとめる
素直に展開してまとめる
𝑥∗に関する⼆次関数
データXを観測した後の予測分布𝑝(𝑥∗|𝑋)は、上記の𝑚, 𝜆^
を(3.53),(3.54)式の _𝑚, `𝜆^に置き換える

21. 3.3.2 精度(分散)が未知の場合
• 1次元ガウス分布
• 𝑝 𝑥 𝜇 = 𝑁 𝑥 𝜇, 𝜆:? =
?
Z[
𝜆
] 𝑒𝑥𝑝 −
?
Z
(𝑥 − 𝜇)Z 𝜆
• パラメータλの事後分布
20
分散(精度)の共役事前分布はガンマ分布
(3.66)
(3.67)
ガンマ分布の対数の形
素直に展開
(3.68)

22. 3.3.2 精度(分散)が未知の場合
• 未観測データ𝑥∗の予測分布
21
ベイズの定理と対数を使って計算を楽にする
(3.70)
(3.75)
導出できず…
スチューデントのt分布の対数の形
データXを観測した後の予測分布𝑝(𝑥∗|𝑋)は、上記のa, bを
(3.69) 式のパラメータに置き換える

23. 3.3.3 平均、精度が未知の場合
• ガウス・ガンマ分布を事前分布とし、解析解を計算
• 平均μの事後分布
22
平均μが精度λに依存した形（図3.5参照）
(3.81)
λとXが条件となるため、(3.51)の平均の事後分布の結果を流⽤
(3.51)において、λをβλとして導出

24. 3.3.3 平均、精度が未知の場合
• ガウス・ガンマ分布を事前分布とし、解析解を計算
• 精度λの事後分布
23
平均μも精度λに依存した形（図3.5参照）
(3.81)
全変数の同時分布を整理
(3.84)
計算しやすいように対数をとる
(3.86)
同時確率と条件付き確率の性質
ガウス分布(3.80) ガウス・ガンマ分布(3.81) ガウス分布(3.82) ガンマ分布の形
(3.87)
平均と精度の事後分布を⾒ると、共役事前分布
であるガウス・ガンマ分布のパラメータが更新
されているだけになっている

25. 3.3.3 平均、精度が未知の場合
• 未観測データ𝑥∗の予測分布
24
ベイズの定理と対数を使って計算を楽にする
(3.90)
ガウス分布(3.80) ガウス・ガンマ分布(3.81, 3.82, 3.87)
スチューデントのt分布の対数の形
データXを観測した後の予測分布𝑝(𝑥∗|𝑋)は、上記のa, b, 𝑚, 𝛽を
(3.83),(3.88)式のパラメータ置き換える

26. 3.4 多次元ガウス分布の学習と予測
• 3.4.1 平均が未知の場合
• 3.4.2 精度が未知の場合
• 3.4.3 平均・精度が未知の場合
• 1次元ガウス分布を多次元に拡張
• 共分散⾏列Σによって次元間にまたがる相関を扱える
• 共分散⾏列Σの代わりに精度⾏列Λ = Σ:?を⽤いる
25
2. PROBABILITY DISTRIBUTIONS
Contours of constant
density for a Gaussian
in two dimensions in
variance matrix is (a) of
, (b) diagonal, in which
contours are aligned
ordinate axes, and (c)
to the identity matrix, in
ontours are concentric
x1
x2
(a)
x1
x2
(b)
x1
x2
(c)
therefore grows quadratically with D, and the computational task of manipulating
(PRML, p.82より)
共分散⾏列が⼀般 共分散⾏列が対⾓
(独⽴なガウス分布
に分解可能)
共分散⾏列が
単位⾏列に⽐例
(球になる)

27. 3.4.1 平均が未知の場合
• 平均パラメータ𝜇 ∈ 𝑅'が未知で精度⾏列Λ ∈ 𝑅'×'が既知
• 平均μの事後分布
26
（Λは正定値）
平均μの共役事前分布はガウス分布
(3.98)
(3.96)
(3.99)
1次元の場合と同様に
天下り的にこの式が導ける
(3.100)

28. 3.4.1 平均が未知の場合
• 未観測データ𝑥∗の予測分布
27
1次元の場合と同様に、ベイズの定理と対数を使って計算を楽にする
(3.107)
モデル(ガウス分布)(3.96) 事後分布(ガウス分布)(3.100)
xの⼆次関数→ガウス分布にしたい
(3.108)

29. 3.4.2 精度が未知の場合
• 平均パラメータ𝜇 ∈ 𝑅'が既知で精度⾏列Λ ∈ 𝑅'×'が未知
• 精度⾏列Λ ∈ 𝑅'×'の事後分布
28
(3.111)
(3.113)
共分散(精度)⾏列の共役事前分布は
ウィシャート分布
(3.114)
これは、以下のウィシャート分布になる（とのことです）
(3.115)
(3.116)

30. 3.4.2 精度が未知の場合
• 未観測データ𝑥∗の予測分布
29
1次元の場合と同様に、ベイズの定理と対数を使って計算を楽にする
モデル(ガウス分布)(3.111) 事後分布(ウィシャート分布)(3.115)
多次元のスチューデントのt分布(3.121)であることが知られている（とのことです）
(3.120)
(3.123)
(3.124)

31. 3.4.3 平均・精度が未知の場合
• 平均パラメータ𝜇 ∈ 𝑅'と精度⾏列Λ ∈ 𝑅'×'が未知
• 共役事前分布はガウス・ウィシャート分布
• 事後分布
• p.95, fig3.5より
• 平均パラメータ𝜇 ∈ 𝑅'の事後分布
• 精度⾏列ΛとデータXを条件とするため、計算が容易
• 平均が未知の場合の事後分布の精度⾏列をβΛとする
30
(3.128)
(3.129)
(3.125)

32. 3.4.3 平均・精度が未知の場合
• 精度⾏列Λ ∈ 𝑅'×'の事後分布
31
ガウス分布 ガウス・ウィシャート分布(3.125) ガウス分布(3.128)
これを展開するとウィシャート分布と同じ形(3.131)が現れ、以下のウィシャート
分布で表すことができる
(3.130)
(3.132)
(3.133)

33. 3.4.3 平均・精度が未知の場合
• 未観測データ𝑥∗の予測分布
32
ベイズの定理と対数を使って計算を楽にする
(3.135)
ガウス分布 ガウス・ウィシャート分布(3.128, 3.132)
(3.138)
多次元のスチューデントのt分布の対数の形
(3.139)
(3.140)

34. 3.5 線形回帰の例
• 3.5.1 モデルの構築
• 3.5.2 事後分布と予測分布の計算
• 3.5.3 モデルの⽐較
• 線形回帰モデルをガウス分布を使って構築し、パラメータ
の学習を⾏ってみる
33

35. 3.5.1 モデルの構築
• 線形回帰モデル
34
𝜖はノイズ(𝑁(𝜖|0, 𝜆:?
))を表す。精度λは既知（ハイパーパラメータ）。
yは𝑦 ∈ 𝑅
xは𝑥 ∈ 𝑅k
（ここでは⾮線形変換はしない）
wは学習対象のパラメータ𝑤 ∈ 𝑅k
事前分布: wはM次元のため、M次元の正規分布を事前分布とする
m ∈ 𝑅k
は平均パラメータ（ハイパーパラメータ）
Λ ∈ 𝑅k×k
は精度⾏列（ハイパーパラメータ）
(3.143)
(3.144)
(3.143)はデータの⽣成過程を表現しており、ハイパーパラメータを適当に決めてシミュレーションできる
p.106, 図3.6
(3.144)に基づいてサンプル
したwから作成した関数
左の関数の⼀つからデータy
をサンプルした例
p.106, 図3.7

36. 3.5.2 事後分布と予測分布の計算
• パラメータwの事後分布
35
(3.145)
これまでと同様に対数をとって事後分布を求める
wの事後分布はM次元ガウス分布として書ける
(3.146)
(3.143) (3.144)
(3.147)
(3.148)

37. 3.5.2 事後分布と予測分布の計算
• 未観測データ𝑥∗での𝑦∗の予測分布𝑝(𝑦∗|𝑥∗, 𝑌, 𝑋)
• 計算の容易さのためにまずは事前分布の場合を計算し、パラメータを⼊れ替える
36
(3.147)(3.143)
(3.150)
(3.153)
以下の1次元ガウス分布としてまとめられる
(3.154)
(3.155)
データXを観測した後の予測分布𝑝(𝑦∗|𝑥∗, 𝑋, 𝑌)は、上記の𝑚, Λ
を(3.148) 式のパラメータに置き換える

38. 3.5.3 モデルの⽐較
• p.109, 図3.8のように複数のモデルを⽐較したい
• 図3.8のように⽬視で確認/評価する
• 「周辺尤度（モデルエビデンス）」で評価する
37
「モデルエビデンス」
あるモデルに対して、データD
が⽣成される尤もらしさ
周辺尤度を求める（(3.145)式の分⺟）
(3.145)
(3.156)
(3.157)
(3.144) (3.143) (3.146)

39. 3.5.3 モデルの⽐較
• モデルを評価してみる
38
p.109, 図3.8. 次数を変えた多項式回帰の
予測分布
p.110, 図3.9. 図3.8の各モデルのモデルエ
ビデンスの⽐較（M=4が最良）
• データ数によってモデルの評価が変わることに注意
• （モデルの複雑度に対して）⼗分多くのデータがあれば複雑なモデ
ルを当てはめることもできる

40. • 最尤推定：ベイズ推定とは異なるパラメータ推定⼿法(学習⼿法)
• e.g. チョコボールの「⾦のエンゼル」の出現確率の推定
• データとして、⾦のエンゼルは⼀つも出ていない
参考3.3 最尤推定とMAP推定
39
尤度を最⼤化するパラメータθを探索する⼿法
最尤推定
• エンゼルの出現確率は0%
(エンゼルは存在しない)
ベイズ推定
• 可能な出現確率の分布が得られる
(エンゼルは“まだ”出てない)
MAP推定値:事後分布を利⽤した点推定極端な値を出してしまう(過適合)