Recomendados
Mais conteúdo relacionado
Mais de sleepy_yoshi
Mais de sleepy_yoshi (20)
PRML復々習レーン#13 前回までのあらすじ
- 2. 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため ポイントだよ 2 ポイント小僧の向きに意味はありません ポイントだよ
- 3. 前回の範囲 • 8章 グラフィカルモデル – 8.1 ベイジアンネットワーク • 8.1.1 例：多項式曲線フィッティング • 8.1.2 生成モデル • 8.1.3 離散変数 • 8.1.4 線形ガウスモデル – 8.2 条件付き独立性 • 8.2.1 3つのグラフの例 • 8.2.2 有効分離 (D分離) – 8.3 マルコフ確率場 • 8.3.1 条件付き独立性 • 8.3.2 分解特性 • 8.3.3 例: 画像のノイズ除去 • 8.3.4 有向グラフとの関係 – 8.4 グラフィカルモデルにおける推論 • 8.4.1 連鎖における推論 • 8.4.2 木 • 8.4.3 因子グラフ • 8.4.4 積和アルゴリズム • 8.4.5 max-sum アルゴリズム • 8.4.6 一般のグラフにおける厳密推論 • 8.4.7 ループあり確率伝播 • 8.4.8 グラフ構造の学習 3 前回の範囲
- 5. 8.2 条件付き独立性 確率変数が観測された際に その他の確率変数同士の独立性が成立することを 条件付き独立性と呼ぶ • 𝑐が与えられた下で𝑎は𝑏に対して条件付き独立 𝑝 𝑎 𝑏, 𝑐 = 𝑝 𝑎 𝑐 • これは特定の𝑐の値に限らず，𝑐が取りうる可能な値 すべてにおいて成立する – 参考: @shuyo さんのブログ http://d.hatena.ne.jp/n_shuyo/20130722/prml ポイントだよ 5
- 6. 8.2.1 3つのグラフの例 tail-to-tail, head-to-tail, head-to-head の3パターンがある • 観測されると条件付き独立: tail-to-tail, head-to-tail • 観測されないと条件付き独立: head-to-head • 覚え方: 観測されたノードに矢印の頭 (head) がついているか，矢印のおしり (tail) がついているか ポイントだよ 6 条件付き独立 条件付き独立 条件付き独立じゃない!
- 7. 補足: ナイーブベイズ tail-to-tailのノードを観測することによって 他のノードが条件付き独立となる性質を利用した ベイズ識別器 • クラスが与えられたもとで特徴ベクトルの各要素が条件付き独立 – e.g., テキストの場合には単語 argmax 𝐶 𝑃 𝐶 𝑿 = argmax 𝐶 𝑃 𝑿 𝐶 𝑃 𝐶 = argmax 𝐶 𝑃(𝐶) 𝑃(𝑋𝑖|𝐶) 𝑖 ポイントだよ 7 ⋯ 単語 クラス 𝑃(𝑋𝑖|𝐶)には，よく多項分布が用いられるが 連続分布 (たとえばガウス分布) も利用可能
- 8. 8.2.2 有向分離 (D分離) 一般のグラフにおいてもさきほどの例から 得られた結果を用いて条件付き独立性を論じられる • 排他的なノード集合A, B, Cを考える．以下の条件のうちいずれかを満た す経路は遮断されている – 集合Cに含まれるノードであって，経路に含まれる矢印がそこでhead-to-tailあ るいはtail-to-tailである – 経路に含まれる矢印がそのノードでhead-to-headであり，自身あるいはその すべての子孫のいずれもが集合Cに含まれない • マルコフブランケット – あるノードをネットワークから孤立させるために観測が必要なノード集合 ポイントだよ 8 𝑎 ⊥ 𝑏|𝑓? 𝑎 ⊥ 𝑏|𝑒? 𝑎 ⊥ 𝑏|𝑓? 𝑎 ⊥ 𝑏|𝑒?
- 10. 8.3 マルコフ確率場 リンクが方向性を持たない無向グラフに おいても因数分解や条件付き独立性を 論じることができる • 変数に対応するノード集合とノード対を接続 するリンク集合から成る – ただしリンクは方向性を持たない ポイントだよ 10
- 11. 8.3.1 条件付き独立性 無向グラフにおいてはノード間の経路が 遮断されているかで確認すればよい • ノード集合Aとノード集合Bの任意のノード間の経 路はノード集合Cによって遮断されている例 • 無向グラフのマルコフブランケットは簡単 ポイントだよ 11
- 12. 8.3.2 分解特性 無向グラフを極大クリークに分解し， 同時確率を複数のポテンシャル関数で表現する • 無向グラフの同時確率を極大クリークのノードで構成されたポテンシャル 関数𝜓 𝐶 𝒙 𝐶 の積で表現する 𝑝 𝒙 = 1 𝑍 𝜓 𝐶 𝒙 𝐶 𝐶 • ポテンシャル関数は正であるとしたので，たとえばエネルギー関数𝐸(⋅)を 用いて以下のように計算できる 𝜓 𝐶 𝒙 𝐶 = exp{−𝐸 𝒙 𝐶 } ポイントだよ 12 極大クリーク 極大でないクリーク
- 13. 8.3.3 例: 画像のノイズ除去 無向グラフを用いた簡単な例 • 以下をモデル化 – 隣接したノードが同じ値を持つ方が低いエネルギーを持つ – 潜在ノードと観測ノードが同じ値を持つ方が低いエネルギーを持つ • 反復条件付きモード (ICM) で解く – 他の潜在変数を固定して対象とする潜在変数の値がエネルギーが小さい方に更新 – グリーディな探索であるため，大域的最適解が得られない • ほんとうは．．． – 全ノードの確率変数の組み合わせ 2#𝑛𝑜𝑑𝑒 の中からエネルギー関数が最小（＝同時確率が 最大）になるものを見つけたい – グラフカットアルゴリズムならばそれが可能 ポイントだよ 13
- 14. 8.3.4 有向グラフとの関係 任意の有向グラフは無向グラフに変換可能 • 共通親にリンクを張ることをモラル化と呼ぶ • ただし，無向グラフに変換することで条件付き独立性が失 われる • グラフは，ある条件付き独立性を持つ確率分布を表現す るための手段 ポイントだよ 14
- 16. 8.4 グラフィカルモデルにおける推論 グラフのいくつかのノードの値が観測された場合に 残りのノードに関する事後分布を計算する • 局所的なメッセージがグラフ全体にわたる伝 播として表現できる – 本節では厳密推論の方法について論じる ポイントだよ 16
- 17. 8.4.1 連鎖における推論 連鎖グラフにおいては，あるノードを中心として 前向きに伝えるメッセージと後ろ向きに伝わるメッセージの 和で計算可能 𝑝 𝑥 𝑛 = … … 𝑝(𝒙) 𝑁𝑥 𝑛+1𝑥 𝑛−1𝑥1 = 1 𝑍 𝜓 𝑛−1,𝑛 𝑥 𝑛−1, 𝑥 𝑛 … 𝜓2,3 𝑥2, 𝑥3 𝜓1,2 𝑥1, 𝑥2 𝑥1𝑥2𝑥 𝑛−1 𝜓 𝑛,𝑛+1 𝑥 𝑛, 𝑥 𝑛+1 … 𝜓 𝑁−1,𝑁 𝑥 𝑁−1, 𝑥 𝑁 𝑥 𝑁𝑥 𝑛+1 ⋯ ポイントだよ 17 𝜇 𝛼 𝑥 𝑛 𝜇 𝛽 𝑥 𝑛