slide for 'Method of Information Geometry' semi

1. 情報幾何ゼミ
情報幾何の方法ゼミ
§3.4 - §3.5
@liang4673
2013/3/13(水)
2013/3/13(水) 1 / 14

2. 情報幾何ゼミ
previous contents
これまで
1章 微分可能多様体、部分多様体、Riemann 計量
接続、平坦性、自己平行性の導入
接続の射影と埋め込み、Riemann 接続
2章 Fisher 情報行列、α-接続
3章 双対接続、双対平坦空間
Legendre 変換、ダイバージェンス
2013/3/13(水) 2 / 14

3. 情報幾何ゼミ
today’s contents
abstract
今日のテーマ
1 双対性を α-接続に適用してみよう
α -アファイン多様体
α -ダイバージェンス
α -分布族
2 直交双対葉層化
混合座標系
2013/3/13(水) 3 / 14

4. 情報幾何ゼミ
today’s contents
review
復習
α-接続
n 次元モデル S = {pθ } において
[( ) ]
(α) 1−α
Γij,k := Eθ ∂i ∂j lθ + ∂i lθ ∂j lθ (∂k lθ )
2
を接続係数に持つような接続
(α) (α)
< ∇∂i ∂j , ∂k >= Γij,k
∇(0) : Fisher 計量に関する Riemann 接続
∇(1) : 指数型分布族 (exponential family) に対する接続、∇(e)
∇(−1) : 混合型分布族 (mixture family) に対する接続、∇(m)
2013/3/13(水) 4 / 14

5. 情報幾何ゼミ
today’s contents
review
復習
双対接続
(S, g, ∇, ∇∗ ) と任意のベクトル場 X, Y, Z ∈ T (S) に対して
Z < X, Y >=< ∇Z X, Y > + < X, ∇∗ Y >
Z
が成立する時、∇ と ∇∗ は g に関して互いに双対的 (dual)
であるという
∂k gij = Γki,j + Γ∗
kj,i
∇(α) と ∇(−α) は Fishier 計量に関して双対的
2013/3/13(水) 5 / 14

6. 情報幾何ゼミ
today’s contents
alpha-affine manifold
α-アファイン多様体:前置き
パラメトリックな生成モデル S = {p(x| θ)| θ ∈ Θ} について
∫
p(x| θ)dx = constant の場合を考える
天下り的に次のように定義する
{
2
u(1−α)/2 (α ̸= 1)
L(α) (u) := 1−α
log u (α = 1)
l(α) (x| θ) := L(α) (p(x| θ))
2013/3/13(水) 6 / 14

7. 情報幾何ゼミ
today’s contents
alpha-affine manifold
α-アファイン多様体:前置き
すると、Fisher 計量と接続係数は次のようにイイ感じに表
せる ∫
gij (θ) = ∂i l(α) (x| θ) ∂j l(−α) (x| θ)dx
∫
(α)
Γij,k = ∂i ∂j l(α) (x| θ) ∂k l(−α) (x| θ)dx
2013/3/13(水) 7 / 14

8. 情報幾何ゼミ
today’s contents
alpha-affine manifold
α-アファイン多様体:定義
S = {p(x| θ)| θ ∈ Θ} が α-多様体である、とは、ある座標系
[θi ] に関して
∂i ∂j l(α) (x| θ) = 0
が成り立つ
あるいは、x にのみ依存するの関数の組 {C, Fi } に対して
l(α) (x| θ) = C(x) + θi Fi (x)
と表せる、と定義する
大雑把に言えば、モデル S がパラメタ θ の線形結合の形を
含んでいるように表現できるもの
2013/3/13(水) 8 / 14

9. 情報幾何ゼミ
today’s contents
alpha-affine manifold
α-アファイン多様体:性質
イイ性質を色々もってる!?
(S, g, ∇(α) , ∇(−α) ) が双対平坦空間を成す
∫
ηi := Fi (x)l(−α) (x| θ)dx
は [θi ] と双対的な座標系を成し、このような ηi に対して
{ ∫
2
p(x| θ)dx (α ̸= −1)
ψ(θ) = ∫1+α
p(x| θ)(log p(x| θ) − 1)dx (α = 1)
はポテンシャルの性質を満たす
2013/3/13(水) 9 / 14

10. 情報幾何ゼミ
today’s contents
alpha-divergence
α-ダイバージェンス:定義
α-アファイン多様体上の距離の指標 D(α) (p||q)
∀p,q ∈ P, ∀α ∈ R に対して
∫ {
(α) 4 1−α 1+α
D (p||q) := p+ q−
1−α 2 2 2
}
p(1−α)/2 (1+α)/2
q dx (α ̸= ±1)
∫ { }
p
D (−1) (1)
(p||q) = D (q||p) := q − p + p log dx
q
として求まる
2013/3/13(水) 10 / 14

11. 情報幾何ゼミ
today’s contents
alpha-divergence
α-ダイバージェンス:性質, 応用
D(±1) (·||·) : Kullback-Leibler divergence
確率的な最尤推定の枠組み (ex.EM-algorithm : mixture model
ベース) における目的関数となってたりする
D(0) (·||·) : Hellinger 距離
2013/3/13(水) 11 / 14

12. 情報幾何ゼミ
today’s contents
alpha-family
α-分布族:定義
拡張多様体 : モデル S = {p(x|θ)| θ ∈ Θ} にパラメタを追加
してパラメタ空間の次元を増やしたもの
テキスト (3.35) の定義
S := {τ p(x| θ)| θ ∈ Θ, τ > 0}
˜
˜
α-分布族 : 拡張 S が α-アファイン多様体になるようなパラ
メトリックモデル S = {p(x|θ)| θ ∈ Θ}、すなわち
{ n }2/(1−α)
∑
p(x| θ) = ci (θ)Fi (x)
i=0
2013/3/13(水) 12 / 14

13. 情報幾何ゼミ
today’s contents
alpha-family
α-分布族:性質
(−1)-分布族 : 混合型分布族、(−1)-アファイン多様体を成
す、(±1)-平坦
1-分布族 : 指数型分布族、1-アファイン多様体を成さない、
(±1)-平坦
指数型分布族 S の部分多様体 (曲指数型分布族) M に関して
M が S において e-自己平行 ⇐⇒ M が指数型分布族
α の値に関わらず、α-分布族 S とその部分多様体 M に関し
て射影定理が成立 (定理 3.11)
2013/3/13(水) 13 / 14

14. 情報幾何ゼミ
today’s contents
foliation
直交双対葉層化
葉層化 : 高次元の多様体を低次元の多様体にスライスするイ
メージ
排他的に次元を分割すれば、各分割の接平面を直交させるよ
うに取れる
双対座標系の各々の分割に対して対応する部分を交換するこ
とで混合座標系を構築できる
ダイバージェンスに関してよい性質を満たす (図 3.4)
2013/3/13(水) 14 / 14