PRML生駒読書会第10回の発表資料

1. PRML読書会第10回
8.2 条件付き 性
2010-01-09
SUHARA YOSHIHIKO
(id:sleepy_yoshi)

2. 目次
• 8.2 条件付き 性
– 8.2.1 3つのグラフの
• 8.2.2 有向分 (d分 )
1

3. 8.2
2

4. 条件付き 性 (1)
• 変数a, b, cを考える．bとcが与えられたときに，aの
条件付き分布がbの値に依存しない
p (a | b, c) = p(a | c)
⇒ cが与えられた下で，aはbに対して条件付き
3

5. 条件付き 性 (2)
• cで条件付けられたaおよびbの同時分布を考える
p(a,b)=p(a|b)p(b)
p(a, b | c) = p(a | b, c) p(b | c)
= p(a | c) p(b | c)
⇒ cが与えられたとき，aおよびbが 的に である
記法： a b|c
cが与えられた際に，aがbに対して条件付き
4

6. 演習8.8
• a b, c | d ならば a b|d
解)
p ( a , b , c | d ) = p ( a | d ) p (b , c | d )
cについて周辺化
p ( a , b | d ) = p ( a | d ) p (b | d )
∴a b|d
5

7. 8.2.1 3 の ラフの
6

8. 8.2.1 3ノードから成るグラフ
• ３つの構造
– (1) tail-to-tail
– (2) head-to-tail
– (3) head-to-head
• 「弁明」現象
7

9. (1) tail-to-tail
8

10. (1) tail-to-tail
c tail-to-tail tail
a b
head
p(a, b, c) = p(a | c) p(b | c) p(c)
どの変数も観測されていない場合に
aとbの を確かめる (両辺をcに関して周辺化)
p(a, b) = ∑ p(a | c) p(b | c) p(c)
c
⇒ p(a)p(b)に分解 可能 ( a b |φ ) 9

11. tail-to-tail: 変数cの観測
• の を変数cで条件付ける
p(a,b,c)
p(a, b, c) = p(a,b|c)p(c)
p ( a, b | c ) =
p (c )
= p(a | c) p(b | c)
よって条件付き が かれる
a b|c
10

12. tail-to-tail: 経 の遮断
• cを観測することにより，経 を遮断 (block) し，
aとbとを条件付き にする
c
a b
p(a, b | c) = p(a | c) p(b | c)
ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの 遮断で る 11

13. (2) head-to-tail
12

14. (2) head-to-tail
a c b
head-to-tail
p(a, b, c) = p(a)(c | a) p(b | c)
どの変数も観測されていない場合にaとbの を確かめる
p (a, b) = p (a)∑ p(c | a) p (b | c) = p(a) p(b | a)
c
⇒ p(a)p(b)に分解 可能 ( a b |φ )
13

15. head-to-tail: 変数cの観測
• の を変数cで条件付ける
p(a, b, c)
p ( a, b | c ) = ベイズの
p (c )
p(a) p (c | a) p(b | c)
=
p (c )
= p(a | c) p(b | c)
よって条件付き が かれる
a b|c 14

16. head-to-tail: 経 の遮断
• cを観測することにより，経 を遮断 (block) し，
aとbとを条件付き にする
a c b
p(a, b, c) = p(a | c)(b | c)
ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの 遮断で る 15

17. (3) head-to-head
16

18. (3) ead-to-head
a b
head-to-
c head
p(a, b, c) = p(a) p(b) p(c | a, b)
どの変数も観測されていない場合にaとbの を確かめる
p (a, b) = p(a) p(b)
⇒ p(a)p(b)に分解可能 ( a b |φ )
17

19. head-to-head: 変数cの観測
• の を変数cで条件付ける
p(a, b, c)
p ( a, b | c ) =
p (c )
p(a ) p(b)(c | a, b)
=
p (c )
p(a|c)p(b|c)に因数分解できないため，
条件付き ではない
a b|c
18

20. head-to-head: 経 の遮断解
a b
c
p(a) p(b) p(c | a, b)
p ( a, b | c ) =
p (c )
ポイント３
head-to-headのノードを観測すると，
ふたつのノードの の遮断が解かれる 19

21. head-to-headの子孫の観測
依存関係の発生
a b
c
d
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経 の遮断が解かれる
(⇒ 演習8.10)
20

22. 演習8.10 (1/2)
a b
c
d
p(a, b, c, d ) = p(a) p(b) p(c | a, b) p(d | c)
a b |φ の確認
変数c, dについて周辺化
p(a, b) = p(a) p(b)∑∑ p(c | a, b) p(d | c)
d c
= p(a) p(b)∑ p(d | a, b) = p(a) p(b) 21
d

23. 演習8.10 (2/2)
a b|d の確認
dで条件づける
p(a, b, c, d ) p(a) p(b) p(c | a, b) p(d | c)
p(a, b, c | d ) = =
p (d ) p(d )
変数cに関して周辺化
p(a ) p(b)∑ p (c | a, b) p(d | c)
p ( a, b | d ) = c
p(d )
p (a ) p(b) p(d | a, b)
= ≠ p (a | d ) p(b | d )
p(d ) 22

24. 演習8.10の考察
• head-to-headノードの子孫である変数zを観測しても，
変数の周辺化によって変数cの観測と同じ効果が発生
a b p(a, b, c,... | z )
p(a ) p(b) p (c | a, b)... p ( z | ...)
=
c p( z )
周辺化
p(a ) p (b) p ( z | a, b)
…
周辺化 p ( a, b | z ) =
p( z )
z 23

25. 「弁明」現象
24

26. の タンクモデル
• の のモデル B F
– バッテリの状態 B {1, 0}
– タンクの状態 F {1, 0}
– G {1, 0} G
バッテリと タンクが タンクとバッテリの状態が
満タンである事 確 与えられた際の が満タンを指す確
p( B = 1) = 0.9 p(G = 1 | B = 1, F = 1) = 0.8
p( F = 1) = 0.9 p(G = 1 | B = 1, F = 0) = 0.2
p(G = 1 | B = 0, F = 1) = 0.2
p(G = 1 | B = 0, F = 0) = 0.1
何も観測していないとき，
タンクが空である確 p(F=0) = 0.1 25

27. 観測による確 の変化
が空を指している事実を観測
B ベイズの より
F
p(G = 0 | F = 0) p( F = 0)
p( F = 0 | G = 0) =
p(G = 0)
G
p(G = 0) = ∑ ∑ p(G = 0 | B, F ) p( B) p( F ) = 0.315
B∈{0 ,1} F ∈{0 ,1}
p(G = 0 | F = 0) = ∑ p(G = 0 | B, F = 0) p( B) = 0.81
B∈{0 ,1}
0.81× 0.1
∴ ≅ 0.257 p( F = 0 | G = 0) > p( F = 0)
0.315
観測によってタンクが空である可能性が高くなる 26

28. 「弁明」現象
つづいてバッテリが れていること (B=0) を観測
B F p( F = 0 | G = 0, B = 0)
P(G = 0 | F = 0, B = 0) p( F = 0)
= ≅ 0.111
G ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F )
バッテリの観測によってタンクが空である確 が
0.257から0.111に下がった
バッテリが れているという事実が，
が空を指していることを「弁明」している
※1 Gの代わりにGの子孫を観測しても起こる
※2 バッテリが れていても， が0を指しているという事実
が となり，事 確 p(F=0)よりも大きい 27

29. 補足:B, G観測後の事後確
p( F , G, B) = p( F , G | B) p( B) = p( F | G, B) p(G | B) p( B)
= p(G, B | F ) p( F ) = p(G | F , B) p( B | F ) p( F )
p(B)
p(G = 0 | B = 0, F = 0) p( B = 0) p( F = 0)
p( F = 0 | G = 0, B = 0) =
∑ p(G = 0 | B = 0, F ) p( B = 0) p( F )
F ∈{0 ,1}
Σの外に出て打ち消す
p(G = 0 | F = 0, B = 0) p( F = 0)
= ≅ 0.111
∑F∈{0,1} p(G = 0 | B = 0, F ) p( F )
28

30. 突然ですが
29

31. アンケート
• “explain away” あなたならどう訳す?
– (1) 弁明 (現象) 1名
– (2) 釈明 (現象) 1名
– (3) 言い逃れ (現象) 1名
– (4) 説明を加えて明らかにする現象 5名
– (5) (他人がフォローするので) 弁護 (現象) 7名
– (6) 真犯人が現れました現象
– (その他自由回答)
PRML読書会的には「弁護」現象となりました
30

32. 8.2.1のポイントまとめ
31

33. ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの 遮断で る
ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの 遮断で る
ポイント３
head-to-headのノードを観測すると，
ふたつのノードの の遮断が解かれる
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経 の遮断が解かれる 32

34. 8.2.2 分 (D分 )
今までの話を一般化
33

35. 有向分
• グラフの有向分
– A, B, Cを重複のないノード集合とする
– 条件付き 性 A B | C を調べたい
⇒ Aの任意のノードからBの任意のノードまで全ての経
が遮断されていることを確認する
A B
C 34

36. 経 の遮断条件
• 以下の条件のいずれかを満たすノードを含む経
は遮断されている
(a) 集合Cに含まれるノードであって，経 に含まれ
る矢印がそこでhead-to-tailあるいはtail-to-tailである
(b) 経 に含まれる矢印がそのノードでhead-to-headで
あり，自身あるいはそのすべての子孫いずれもが集
合Cに含まれない
• 全ての経 が遮断されていれば，AはCによって
Bから有向分 され，A B | C を満たす
35

37. 1)
有向分
• aからbの経 を調べる a f
できないか?
e b
c
1. fによって遮断されない
⇒ tail-to-tailかつ観測されていないため
2. eによって遮断されない
⇒ head-to-headだが，子孫のcが観測されているため
このグラフからでは条件付き 性は導けない
36

38. 2)
• aからbの経 を調べる a f
e b
c
1. fによって遮断される
⇒ tail-to-tailかつ観測されているため
2. eによっても遮断される
⇒ head-to-headかつ，いずれの子孫が観測されていないため
条件付き a b | f が成 する
37

39. 同分布データの場合
1.2.4節の 同分布 (i.i.d.) の
• 1変 ガウス分布の 事後分布を得る
– 下記のグラフより p(μ,x) = p(x|μ)p(μ)
μ μ
x1 xN または xn
…
N
μを条件付け変数と なすと，任意のxiとxi≠jの経 がtail-to-tailの
観測済みノードμのため，すべての経 が遮断される
⇒ μが与えられた下で観測値D = {x1, ..., xN} は である
p ( D | µ ) = ∏ p ( xn | µ )
n =1 38

40. 図8.7の
• ¥hat{t}からtnに対する任意の経 において，wはtail-
to-tailであるため，以下の条件付き 性が成 する
ˆ
t tn | w
つまり多項式係数wで条件つけら
れた下で，¥hat{t}の予測分布は
訓練データtnに対して
一 訓練データを して係数w上の事後分布を決め
てしまえば，訓練データを捨ててしまってよい 39

41. ナイーブベイズモデル
• ナイーブベイズモデルのグラフ構造
– 観測変数x = (x1,...xD)T
– クラスベクトルz = (z1, ..., zK)
zを観測すると，xiとxj (j≠i)
との間の が遮断される
ナイーブベイズ仮説
クラスzで条件付けると
変数x1, ...xDが いに
zを観測せずにzに関して周辺化すると，
xiとxj (j≠i) への の遮断 解かれる
i.e.,
p(x)を各成分x1,...,xDに関して
D
p(x) ≠ ∏ p( xi )
分解できないことを意味する i 40

42. ナイーブベイズモデルの
• ベクトルxに 変数と 変数が するような
場合にも使える
⇒ 変数それ れに対して なモデルを する
2値観測値には 実数値には
ベルヌーイ分布 ガウス分布
D
p( y | x) = arg max p( y )∏ p( xi | y )
y∈Y i
様々な分布の組み合わせが可能
41

43. 分
42

44. 有向分
2つの方法によって得られる分布の集合は等価である
(1) 有向分解 (directed factorization)
– 同時分布の因数分解から得られる分布の集合
K
p(x) = ∏ p( xk | pa k ) (8.5)
k =1
(2) 有向分 (directed separation)
– グラフの経 遮断を調べて得られる分布の集合
43

45. マルコフブランケット
44

46. マルコフブランケット (1/2)
• D個のノードを持つグラフで表現される同時分布
p(x1, ..., xD) と，変数xiに対応するノード上の，他ノー
ドxj≠iで条件付けられた条件付き分布を考える
p(a|b,c) =
p(x1 ,..., x D ) p(a,b,c) / p(b,c)
p(x i | x{ j ≠i} ) =
∫ p(x ,..., x )dx
1 D i
x k ≠i
∏ p(x | pa ) k k
x i ∉ pa k
= k
xiに依存しないノードは積分の外
∫ ∏ p(x | pa )dx
k
k k i に出て分子と打ち消しあう
p(x i | pa i ) xiの親ノードに依存
p(x k | pa k ) xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382)
45

47. マルコフブランケット (2/2)
• xiをグラフから条件付き にするためのノード 集合 (⇒ 演習8.9)
共同親
(co-parent)
• 共同親が な 由
⇒ 子の観測により遮断が解かれるため
共同親
xi
head-to-headノードが観測 (ポイント3) 46

48. 演習8.9
• マルコフブランケットを条件付けることにより，xiが全
てのノードから条件付き
親ノード集合:
tail-to-tail or head-to-rail
かつ観測 ⇒ 遮断
子ノード集合:
(1) head-to-tail
かつ観測 ⇒ 遮断
(2) head-to-head
かつ観測 + 共同親も観測
⇒ 遮断 47

49. 本節のまとめ
48

50. 本節のまとめ
• 3ノードのグラフ
– tail-to-tail
– head-to-tail
– head-to-head
• 「弁明」現象
• 有向分
– 3ノードグラフの性質を一般化
• 有向分
– 有向分解 (8.5) と有向分 で得られる条件付き 性は一
• マルコフブランケット
49

51. おしまい
50