More Related Content
More from Hiroshi Nakagawa (20)
クラシックな機械学習の入門 2.ベイズ統計に基づく推論
- 9.
K
i iK
K
KK
K
i i
K
i
i
K
i
iK
K
i
i
x
KK
K
NXpK
Xp
N
x
K
xpXpXp
Bayes
xxp
XpK
Np
122
0
2
0
022
0
2
22
0
2
2
2
1
2
0
02
2
0
2
2
0
2
0
1
2
2
1
2
22/2
1
2
00
,
11
,||:
|
)10(
2
1
exp
22
1
exp)|(|
2
1
exp
2
1
|
)|(:
),|(:
後の事後分布個の観測データを得た
だからこの結果より
は正規分布
の定理から
は既知ただし
れた場合の尤度個の観測データが得ら
事前分布
事前分布からの寄与 観測データからの寄与
事前観測事後
- 10. 観測データ数Kと事後分布の例
-1.5 -1 -0.5 0 0.5 1 1.5
K=10の事後分布
K=2の事後分布
K=1の事後分布
事前分布
5.0
1
01.01.0
1
0
22
0
xEx
K
K
i
i
観測データにより事前分布の
パラメータμが修正されていく
- 11. 多次元正規分布:複数種類(つまり複数の確率変数)
を持つ数値データの確率分布
多次元正規分布
)()(
2
1
exp
)2(
||
)()(
2
1
exp
||
1
)2(
1
)|(
:cov
E
2
2
1
1
2
1
2
1
2
1
11
2
11
μxμx
μxΣμxΣμ,x
Σx
μxx
T
D
T
D
DD
D
DD
N
x
x
D
精度行列共分散行列:
次元の正規分布
- 12. 例題
多次元正規分布の共分散行列を推定する。
1
x
x
1
x
11
1
2
2
1
1
]))([(
0]))([(
[]x
))(())((
))(()()(
2
||log
1
0
)()(||log)|(log
)()(
2
1
exp
)2(
)|(
T
T
TTT
TT
T
T
T
D
E
E
E
trace
N
N
D
μxμx
μxμx
μxμxμxμx
μxμxμxμx
μxμxμ,x
μxμxμ,x
より
をすると、すなわちに対して期待値をとるここで
項の微分第
項の微分第
とおくで微分してするためにこの対数尤度を最大化
次元の正規分布
- 16. 一方、(G-10)においてxの1次の項がΣ -1 μ これは次式
)(
)(
)(
1
1
|||
yxyxxx
xxyxyxyxxxyxyx
yxyxxx
T
μyμ
μyμμ
μyμx
より
これにより
次に、これらの結果を共分散行列を用いて書き直す
yxyyxyxxyx
yyyxyxyx
yyxyyxyyxyxxxyyxyyxyxxxx
yyyx
xyxx
yyyx
xyxx
Matrix
1
|
1
|
11111
1
1
)(
)()(
)(
μyμμ
を使えばにおいて
yを定数とみなしてxの分布を求めれば、条件付分布になるか
ら(G-10)の第1項のxの2次の項の係数が共分散。すなわち
1
|
2
1
xxyxxx
T
によりxx
- 17. exponential family:指数型分布族
2)))d(exp()(log)(
1d))(exp()(exp
),(,,
1)η)(exp()()|(
EBxxuηxhηa
uηhηa
ηux
EBauηhηp
T
T
T
xxx
x
xxx
また、
は一般にはベクトルただし
正規化項
iidの観測データX={x1, …, xN }に対しては以下の式
N
n
n
T
N
n
n ηNaηhηp
11
)()(exp)()|( xuxX
事前分布と学習後の事後分布が同一タイプの分布(事前共役)
- 18. いくつかの確率密度関数のExponential family表現:ガウス分布
)(
1
log
2
,
1
log
2
2
1
,exp
2
1
2
2
exp
2
1
2
exp
2
1
),|(
2
2
1
21
2
2
2
22
2
22
2
2
2
2
2
ax
x
x
xx
x
xp
T
- 21. (EB3)(EB4)の応用例
ガウス分布に応用
1)(
2
)(
log
2
1
2
)(,
1
log
2
2
1
,exp
2
1
),|(
2
22
1
1
2
1
2
1
2
1
2
2
1
11
1
2
2
2
1
21
2
2
2
22
2
ηη
ηa
xV
ηη
ηa
xE
ax
x
x
xp
ηη
T
- 23. 2項分布の場合はおなじみの公式
1
e1
e
e1
e)(
e1
e)(
e1log
e1
1
log1log)(
e1
e
e1e1e
1
e
)(
1
log)(
1log
1
logexp
2
1)|(
22
2
NNN
ηη
ηa
xVNN
a
xE
NNNa
axh
Nx
N
x
N
xp
ηη
xNx
- 24. Exponential familyとベイズ統計:
共役分布と事後分布
仮想的な観測
データ
実際の観測
データ
仮想的
な観測
回数:1
実際の観測
回数
赤枠の中は事
後パラメター
aηaKληxuλh
ηaxuηaηaληλh
xpηpxxηp
xxiidKxp
EB
ηa
ηλλ
ha
aηaληλhηp
λλλ
TK
i
i
K
i
i
TT
K
i
iN
K
T
T
T
2
1
1
1
21
1
1
1
21
21
21
)(exp)(
)(expexp)(
|)|(),,,|(
)|(
)22(d
,
exp)(log
exp)()|(
,:ハイパーパラメター
の事後分布は
が得られたときのの観測データ個のに沿うさて、
布を定義する によって共役事前分
- 25.
は既知とする。
は既知ただし
れた場合の尤度個の観測データが得ら
= 事前分布
22
00
22
2
2
22
2
1
2
22/21
2
0
2
0
2
0
2
2
0
0
21
2
00
2
0
22
0
0
121
2
00
,,
)(
1
log
2
1
2
1
,exp
2
1
),|(
2
1
exp
2
1
|
)|(:
22
expexp),|(|
2
1
,,,),|(|:
a
x
x
xp
xxp
XpK
λaaλλNp
Np
T
K
i
iK
K
i
i
T
1変数正規分布の期待値に適用した例 その1
- 26.
22
0
2
1
22
0
0
22
2
2
0
2
1
22
0
0
2
2
2
1
2
1
1
22
1
T
21
1
1
1
2
1
exp
1
log
22
1
exp)(
12
,exp)(
1
,
)(expexp)(
|)|(),,,|(
K
x
K
xh
ηKaaλ
x
xλh
ηaxuηaλλh
xppxxp
K
i
i
K
i
i
K
i
i
K
i
i
T
K
i
i
K
i
iN
1変数正規分布の期待値に適用した例 その2
前に求めた N10 に一致
- 27. Exponential family別表現とベイズ統計の続き:予測分布
得られる。で 置き換えればを
でを
においての予測分布はの 新規(あるいは未知)
が得られたときのの観測データ個の
とハイパーパラメター
で分布は次式のように与えられたときの事後ハイパーパラメターが
ーしたハイパーパラメタ個の観測データも考慮
Kλλλ
xuλλλ
EBx
xxiidK
EBaηaληxuλhxh
aηaληλhaxuxh
λpxpxp
EBKλλEBxuλλ
K
K
i
i
K
T
TT
K
i
i
222
1
111
1
21
21
22
1
11
ˆ
)(ˆ
)23(
)23(expd1)(exp)()(
dexp)()(exp)(
d)|()|()|(
emarginaliz
)22(ˆ)21()(ˆ
- 28. ベイズ統計による事前、事後、予測分布の例:多変数ガウス分布
難しいので省略する予定
精度行列(分散の逆行列)Λが既知のd次元ガウス分布をexponential family で表現
T
d
TTT
TTTT
T
T
d
xxxu
axh
xxxddxp
xxxxdd
xxdd
xxxp
),..,()(
)()(
2
1
exp||log2log
2
1
exp)|(
!:parameternatural
||log2log
2
1
exp
||log2log
2
1
exp
2
1
exp||2
2
1
)|(
1
1
11T1T
11
2
以下も注意
たがまだ決めていなかっ
とおくと
- 29. 事前分布のパラメターλから予測分布p(x| λ)を求める
||||
2
1
||loglog
2
1
2
2
1
||log
2
1
exp
2
1
exp
22
2
1
exp
2
1
expexp)|(
1
2
1
2
1
2
111
2
2
11
1
1
2
1
2
2
11
2
2
1
1
1
2
1
2121
d
T
T
TT
T
TT
TTT
d
da
a
aaap
に対しては、次元の行列
とおくと
として事前分布もガウス分布
- 30.
)36(
2
)()35(
2
)4)(3(
)22(d
,
exp)(log
exp)()|(
2
2
11
222
1
1
21
21
EB
da
aEEB
a
E
EBEB
EB
ηa
ηλλ
ha
aηaληλhηp
TT
T
T
ように求まる。の十分統計量が以下のが与えられたときのより
および