Divergence center-based clustering and their applications
Computational Information Geometry for Machine Learning
1. ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
ÓÖ Å Ò Ä ÖÒ Ò
Ö Ò Æ Ð× Ò
ÓÐ ÈÓÐÝØ Ò ÕÙ
ËÓÒÝ ÓÑÔÙØ Ö Ë Ò Ä ÓÖ ØÓÖ ×¸ ÁÒ
¹Ñ Ð Ö Ò ºÆ Ð× Ò ÑºÓÖ
ÅÄËË ¾¼½
¾¼½ Ö Ò Æ Ð× Ò ½»½
2. ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ ÖÓÙÒ
ÓÑÔÙØ Ø ÓÒ Ð ÁÒ ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ´ Á µ Ö Ð × × ÑÐ ××ÐÝ ÓÒ
×Ø Ø ×Ø × Ò ÔÖÓ Ð ØÝ ´ËÌ Ì ² Èʵ¸
Ò ÓÖÑ Ø ÓÒ Ø ÓÖÝ ´Á̵¸
Ö ÒØ Ð ÓÑ ØÖÝ ´ ¸ Ò ÐÙ Ò ÑÙÐØ Ð Ò Ö Ð Ö Ó Ø Ò×ÓÖ×µ¸
ÓÑÔÙØ Ø ÓÒ
׸ Û Ö ÓÑÔÙØ Ö × ÒØ ×Ø× Ò ÔÖÓ Ö ÑÑ Ö× ÀÓÛ Ó Û ÓÑÔÙØ
Ö Ò ÐÝ ´Ñ Û ² Û × Ù× Ó Ù Ð Ø ×ºººµ
Å ÒÝ ÔÔÐ Ø ÓÒ Ð × ÓÑÔÙØ Ø ÓÒ Ð ×Ø Ø ×Ø ×¸ Ñ Ò Ð ÖÒ Ò ´Åĵ¸
Ò ÓÖÑ Ø ÓÒ Ö ØÖ Ú Ð× ´ÁÊ×µ¸ ÓÑÔÙØ Ö Ú × ÓÒ ´ ε¸ Ñ Ð Ñ Ò ¸ Ö Ö
× Ò Ð ÔÖÓ ×× Ò ¸ Ø º
→ Å Ø Ó Ó Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ ¾ ´¾¼¼¼µ¸ ÔÖÓÒ Ö Ñ ÛÓÖ
¾¼½ Ö Ò Æ Ð× Ò ½ºÁÒØÖÓ Ù Ø ÓÒ ¾»½
15. ÖÓÑ Ø × Ø× ØÓ ÑÔ Ö Ð ´ × Ö Ø µ ×ØÖ ÙØ ÓÒ×
Ú Ò X = {x½, ..., xn} Ó × ÖÚ Ø ÓÒ׺ºº
ººº Ù Ð Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ
pe(X) =
½
n
n
i=½
δ(X − X(i))
Fe(x) =
½
n
n
i=½
½[xi ≤x] ´ µ
pi
e =
½
n
#{x = i} ´ Ö ÕÙ Ò Ýµ
ËÙÔÔÓÖØ X × ÙÒ ÒÓÛÒ ÔÖ ÓÖ ÒÓØ ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ ÒÓÖ Ò Ø
Ñ ÜØÙÖ
Ë ÑÔÐ Ñ Ò ¯μ = ½
n i xi = X pe = i∈??? pi
eiº
×Ø Ñ Ø ÓÒ X ∼ D(θ) Ý Ø Ñ Ø Ó Ó ÑÓÑ ÒØ×
X pe = E[X] = X
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½
16. ÇÐ Ý× × Ö Ø Ò ÓÒØ ÒÙÓÙ× Ö Ò ÓÑ Ú Ö Ð ×
× Ö Ø Êκ Ë ÒÒÓÒ ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
≥ ¼
ÐÛ Ý× ÔÓ× Ø Ú ´ÒÓØ ÓÒ Ó ÙÒ ÖØ ÒØÝ Ñ Ü ÙÒ ÖØ ÒØÝ ÓÖ ÙÒ ÓÖÑ
×ØÖ ÙØ ÓÒ H(U) = ÐÓ nµ
ÓÒØ ÒÙÓÙ× Êκ Ö ÒØ Ð ÒØÖÓÔÝ
H(X) =
x∈X
p(x) ÐÓ
½
p(x)
x
Ò Ò Ø Ú ´Ô Ý× Ð ÒØ ÖÔÖ Ø Ø ÓÒ µ ººº
ÓÖ Ü ÑÔÐ ¸ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð× ´ÅÎÆ×µ N(μ, Σ)
H(X) =
½
¾
ÐÓ (¾πe)d
|Σ|
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½
17. Å ÜØÙÖ × ÑÔÐ Ò Ü ÑÔÐ Ó Ù×× Ò Å ÜØÙÖ ÅÓ Ð
´ Åŵ
ÌÓ × ÑÔÐ Ú Ö Ø x ÖÓÑ ÅÅ
ÓÓ× ÓÑÔÓÒ ÒØ l ÓÖ Ò ØÓ Ø Û Ø ×ØÖ ÙØ ÓÒ w½, ..., wk ¸
Ö Û Ú Ö Ø x ÓÖ Ò ØÓ N(μl , Σl )º
→ Ë ÑÔÐ Ò × ÓÙ ÐÝ ×ØÓ ×Ø ÔÖÓ ××
Ø ÖÓÛ × Û Ø k × ØÓ ÓÓ× Ø ÓÑÔÓÒ ÒØ
l ∼ ÅÙÐØ ÒÓÑ Ð(w½, ..., wk )
´ÅÙÐØ ÒÓÑ Ð × ÒÓÖÑ Ð Þ ×ØÓ Ö Ñ Û Ø ÓÙØ ÚÓ Ò×µ
Ø Ò Ö Û Ø Ö Ò ÓÑ Ú Ö Ø x ÖÓÑ Ø l¹Ø ÓÑÔÓÒ ÒØ
x ∼ ÆÓÖÑ Ð(μl , Σl )
x = μ + Cz Û Ø ÓÐ × Ý Σ = CCT Ò z = [z½ ... zd ]T ×Ø Ò Ö
ÒÓÖÑ Ð Ö Ò ÓÑ Ú Ö Ø zi = −¾ÐÓ U½ Ó×(¾πU¾)
º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½
18. ËØ Ø ×Ø Ð Ñ ÜØÙÖ × × Ö Ø ¸ ÓÒØ ÒÙÓÙ× ÓÖ Ñ Ü
Ò Ø Ñ ÜØÙÖ ÑÓ Ð× ´k ∈ Nµ Ú ÔÑ »Ô
m(x) =
k
i=½
wi pi (x)
´ÒÓØ ×ÙÑ Ó ÊÎ׸ M = i wi Xi Ø Ø Ú ÓÒÚÓÐÙØ ÓÒ Ð Ò× Ø ×µ
Ñ ÜØÙÖ × Ó Ù×× Ò× ´ÙÒ Ú Ö× Ð Ö ÔÖ × ÒØ Ø ÓÒ ÓÖ ×ÑÓÓØ Ò× Ø ×µ
ÑÙÐØ ÒÓÑ Ð ×ØÖ ÙØ ÓÒ × Ñ ÜØÙÖ
´ Ò Ð×Ó Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖݺººµ
Ï Ø ÓÙØ Ø Ñ ÜØÙÖ Ó ×Ø Ò Ö Ù×× Ò Û Ø ÒÓÑ Ð
×ØÖ ÙØ ÓÒ → Æ Ø Ö × Ö Ø ÒÓÖ ÓÒØ ÒÙÓÙ×
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½
19. Å ×ÙÖ Ø ÓÖÝ ´ Ü ÓÑ ×Ý×Ø Ñ Ó ÃÓÐÑÓ ÓÖÓÚ¸ ½ ¿¿µ
ÙÒ Ý × Ö Ø Ò ÓÒØ ÒÙÓÙ× ÊÎ× × ÔÖÓ Ð ØÝ Ñ ×ÙÖ × ´Ôѵ μ, ν¸ Ø º
Ò Ò Ð ÊÎ× Ø Ø Ö Ò Ø Ö ÓÒØ ÒÙÓÙ× ÒÓÖ × Ö Ø ´ º¸ Ñ ÜØÙÖ
Ó ÈÓ ××ÓÒ Û Ø Ù×× Òµ
ÓÖ ÔÖÓ Ð ØÝ Ñ ×ÙÖ ×¸ ÔÑ ×»Ô × Ö Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
ÜÔ Ø Ø ÓÒ ÒÓØ Ø ÓÒ × ÙÒ ×
E[X] =
x∈X
xp(x) ν(x)
ÌÛÓ Ù×Ù Ð × Ñ ×ÙÖ ×
ÓÙÒØ Ò Ñ ×ÙÖ νC ´ → µ
Ä × Ù Ñ ×ÙÖ νL
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ½ »½
20. Å ×ÙÖ Ø ÓÖÝ ÈÖÓ Ð ØÝ ×Ô ´Ö ÐÐ Ò Ø ÖÑ ÒÓÐÓ Ýµ
X × Ø¸ Ø × ÑÔÐ ×Ô
σ¹ Ð Ö F ÓÚ Ö X ×Ù × Ø× Ó X ÐÓ× ÙÒ Ö ÓÙÒØ Ð Ñ ÒÝ
ÒØ Ö× Ø ÓÒ׸ ÙÒ ÓÒ׸ Ò ÓÑÔÐ Ñ ÒØ׺
(X, F) Ñ ×ÙÖ Ð ×Ô
Ñ ×ÙÖ μ : F → R ∪ {±∞} Û Ø
μ(E) ≥ ¼, ∀E ∈ F¸ μ(∅) = ¼
μ (∪i≥½Ei ) = i≥½ μ(Ei ) ÓÖ Ô ÖÛ × × Ó ÒØ × ÕÙ Ò {Ei ∈ F}i
(X, F, μ)¸ ´ÔÓ× Ø Ú µ Ñ ×ÙÖ ×Ô
(X, F, μ) Û Ø μ(X) = ½¸ ÔÖÓ Ð ØÝ ×Ô ¸ F ∈ F Ö Ú ÒØ×
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¼»½
21. Å ×ÙÖ Ð ÙÒ Ø ÓÒ× Ò Ö Ò ÓÑ Ú Ö Ð ×
Å ×ÙÖ Ð ÙÒ Ø ÓÒ f : X → Y ØÛ Ò ØÛÓ Ñ ×ÙÖ Ð ×Ô × (X, F)
Ò (Y, G)
∀G ∈ G, f −½(G) ∈ F
Ê Ò ÓÑ Ú Ö Ð X Ñ ×ÙÖ Ð ÙÒ Ø ÓÒ X : X → Rº Ì Ö ÓÖ
{x ∈ X | a < X(x) < b} ∈ F
ÐÐ × ÑÔÐ ×Ø Ø × Û Ø X Ø Ò Ú ÐÙ × ØÛ Ò a Ò b × Ò Ú ÒØ ´ µ
ÓÒØ ÒÙÓÙ× ÊÎ Ñ ×ÙÖ × ÓÒ ÓÖ Ð σ¹ Ð Ö
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾½»½
22. ÓÑ Ò Ò Ò Ê ÓÒ¹Æ Ó ÝÑ Ö Ú Ø Ú ×
Ñ ×ÙÖ μ × ÓÑ Ò Ø Ý Ñ ×ÙÖ ν ´μ νµ º
ν(E) = ¼ ⇒ μ(E) = ¼
μ ν σ¹ Ò Ø ´X ÓÙÒØ Ð ÙÒ ÓÒ Ó Ñ ×ÙÖ Ð × Ø× Û Ø Ò Ø
Ñ ×ÙÖ µ Ø Ò μ Ñ Ø× Ò× ØÝ f ÛÖØ ØÓ ν¸ Ø Ê ÓÒ¹Æ Ó ÝÑ
Ö Ú Ø Ú
f
Ò.
=
μ
ν
∀ ν − Ñ ×ÙÖ Ð E, μ(E)
Ò.
=
e∈E
f ν(e)
P ν¸ Ë ÒÒÓÒ ÒØÖÓÔÝ H(P) = − p(x) ÐÓ p(x) ν(x)º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹½ºÈÖÓ Ð ØÝ Ñ ×ÙÖ × ¾¾»½
27. Ê Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü
Ä Ø θ = θ(η) Ò η ØÛÓ ½¹ØÓ¹½ Ô Ö Ñ Ø Ö Þ Ø ÓÒ×
J = [Ji,j ]i,j Â Ó Ò Ñ ØÖ Ü Ji,j = ∂θi
∂ηj
º
Iη(η) = J × Iθ(θ(η)) × J
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü Ô Ò × ÓÒ Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø
Ô Ö Ñ Ø Ö ×Ô ´ ÓÚ Ö Òص
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¾º ÁÅ ¾ »½
28. ËØ Ø ×Ø × ÁÒ ÓÖÑ Ø ÓÒ Ò ×Ù Ò Ý
×Ù Ò Ý P(x|t, θ) = P(x|t)
⇒ ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ × ÓÒØ Ò Ò× t
Is(X)(θ) ≤ IX (θ) ÓÖ ×Ø Ø ×Ø s¸ Û Ø ÕÙ Ð ØÝ º s × ×Ù ÒØ
× Ö¹Æ ÝÑ Ò³× ØÓÖ Þ Ø ÓÒ Ö Ø Ö ÓÒ t(x) × ×Ù ÒØ Ø Ò Û Ú
Ø ÓÐÐÓÛ Ò ÒÓÒ Ð ØÓÖ Þ Ø ÓÒ
p(x; θ) = g(t(x); θ)h(x)
ܺ t(x) = ( i xi , i x¾
i ) ×Ù ÒØ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð׺
ÐÐ Ò ÓÖÑ Ø ÓÒ ÓÙØ θ Ò ØÛÓ ÕÙ ÒØ Ø × Ø Ö Ù Ø ÓÒ Û Ø ÓÙØ ÐÓ×× Ó
×Ø Ø ×Ø Ð Ò ÓÖÑ Ø ÓÒ
× ÑÔÐ Ñ Ò ¯μ = ½
n i xi ¸ × ÑÔÐ Ú Ö Ò
¯v = ½
n i (xi − ¯μ)¾ = ½
n i x¾
i − ¯μ¾ =
½
n
i
x¾
i − (
½
n
i
xi )¾
ÒÓØ ÐÐ ×Ø Ø ×Ø × ÖÖÝ Ò ÓÖÑ Ø ÓÒ ÓÒ θ Ò ÐÐ ÖÝ ×Ø Ø ×Ø ×¸ ×Ø Ø ×Ø ×
Ø Ø Ó × ÒÓØ Ô Ò ÓÒ Ø Ô Ö Ñ Ø Ö θº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½
29. X X t(X)
iid.
Inverse probability/Inference
Parameters: λ Statistics
(data reduction)
Loss of information
for recovering λ
suffi
cient
insufficient
random vector
random sample
x1, ..., xn
t(x1, ..., xn)
random variable
Ï Ö ÒØ Ö ×Ø Ò Ò Ø ¹ Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø ×ººº ´×Ø Ø ×Ø Ð
ÐÓ××Ð ×× Ø Ö Ù Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹¿ºËÙ Ò Ý ¾ »½
31. ÜÔÓÒ ÒØ Ð Ñ Ð × Ñ Ð × Ó Ô Ö Ñ ØÖ ×ØÖ ÙØ ÓÒ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ ´t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x)
ÙÜ Ð ÖÝ ÖÖ Ö Ø Öѵ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÐÓ ¹Ä ÔÐ ØÖ Ò× ÓÖÑ F(θ) = ÐÓ ÜÔ( t(x), θ + k(x)) x
Ñ ÒÝ ×ØÖ ÙØ ÓÒ× p(x; λ) ´ÒÓÖÑ Ð¸ ÑÑ ¸ Ø ¸ ÑÙÐØ ÒÓÑ Ð¸ ÈÓ ××ÓÒµ
Ö ÜÔÓÒ ÒØ Ð Ñ Ð × Û Ø θ(λ)
F × ×ØÖ ØÐÝ ÓÒÚ Ü ÓÒ ÓÒÚ Ü Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô
Θ = {θ ∈ RD | F(θ) < ∞}
Ù Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒ× θ(λ) ÓÖ η(λ) = ∇F(θ(λ)) = E[t(X)]
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü I(θ) = ∇¾F(θ) ¼ ´À ×× Ò Ó ×ØÖ ØÐÝ
ÓÒÚ Ü ÙÒ Ø ÓÒµ
ÅÄ ˆη = ½
n i t(xi ) = ∇F(θ) ´ ÓÒ Ø ÓÒ ÓÒ Ü ×Ø Ò µ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ º ÜÔÓÒ ÒØ Ð Ñ Ð × ¿½»½
32. ÓÒÚ Ü Ù Ð ØÝ Ä Ò Ö ¹ Ò Ð ØÖ Ò× ÓÖÑ Ø ÓÒ ¾½¸ ½
ÓÖ ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÙÒ Ø ÓÒ F : X → R¸ Ò Ø
ÓÒÚ Ü ÓÒ Ù Ø
F∗
(y) = ×ÙÔ
x∈X
{ y, x − F(x)
lF (y;x);
}
Å Ü ÑÙÑ Ó Ø Ò ÓÖ y = ∇F(x)
∇xlF (y; x) = y − ∇F(x) = ¼ ⇒ y = ∇F(x)
Å Ü ÑÙÑ ÙÒ ÕÙ ÖÓÑ ÓÒÚ Ü ØÝ Ó F ´∇¾F ¼µ
∇¾
xlF (y; x) = −∇¾F(x) ≺ ¼
ÓÒÚ Ü ÓÒ Ù Ø × Û Ø ÓÑ Ò×
(F, X) ⇔ (F∗
, Y), Y = {∇F(x) | x ∈ X}
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¾»½
33. Ä Ò Ö Ù Ð ØÝ ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ
ÓÒ× Ö Ø Ô Ö Ô Ó F × ÓÒÚ Ü Ó Ø
ÓÒÚ Ü ÙÐÐ ´Ú ÖØ Ü¸ V ¹Ö ÔÖ × ÒØ Ø ÓÒµ¸ Ú Ö×Ù×
Ð ¹×Ô ´ Ð ×Ô ¸ H¹Ö ÔÖ × ÒØ Ø ÓÒµº
O
F
z
x
P : (x, F(x))
(0, F(xP ) − xP F (xP ) = −F∗
(yP ))
HP : z = (x − xP )F (xP ) + F(xP )
Q
xP
zP = F(xP )
HQ : z = (x − xQ)F (p) + F(xQ)
Dual coordinate systems:
P =
⎧
⎨
⎩
xP
HP : yP = F (xP )
0
HP +
Ä Ò Ö ØÖ Ò× ÓÖÑ Ð×Ó ÐÐ ×ÐÓÔ ØÖ Ò× ÓÖѺ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿¿»½
34. Ä Ò Ö Ù Ð ØÝ ² ÒÓÒ Ð Ú Ö Ò
ÓÒÚ Ü ÓÒ Ù Ø × Ú ÙÒ Ø ÓÒ Ð ÒÚ Ö× Ö ÒØ× ∇F−½ = ∇F∗
∇F∗ Ñ Ý Ö ÕÙ Ö ÒÙÑ Ö Ð ÔÔÖÓÜ Ñ Ø ÓÒ
´ÒÓØ ÐÛ Ý× Ú Ð Ð Ò Ò ÐÝØ Ð ÐÓ× ¹ ÓÖѵ
ÁÒÚÓÐÙØ ÓÒ (F∗)∗ = F Û Ø ∇F∗ = (∇F)−½º
ÓÒÚ Ü ÓÒ Ù Ø F∗ ÜÔÖ ×× Ù× Ò (∇F)−½
F∗
(y) = x, y − F(x), x = ∇y F∗
(y)
F∗
(y) = (∇F)−½(y), y − F((∇F)−½(y))
Ò Ð¹ ÓÙÒ Ò ÕÙ Ð ØÝ Ø Ø ÖØ Ó Ø ÒÓÒ Ð Ú Ö Ò
F(x) + F∗
(y) ≥ x, y
AF (x : y) = AF∗ (y : x) = F(x) + F∗
(y) − x, y ≥ ¼
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
35. È Ö Ñ Ø Ö× Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
D ÓÖ Ö Ó Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ
d ÙÒ ¹ ´d = ½µ ÓÖ ÑÙÐØ ¹Ú Ö Ø Ñ ÐÝ
Å ÒÝ Ô Ö Ñ Ø Ö Þ Ø ÓÒ× Ö ÔÓ×× Ð ÙØ ÓÒÐÝ ØÛÓ Ö ÒÓÒ Ð Ò ØÙÖ Ð
Ô Ö Ñ Ø Ö× Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö׺
λ ∈ Λ
η ∈ Hθ ∈ Θ
Exponential family
dual parameterization
η = ∇θF(θ) θ = ∇ηF∗
(η)
Legendre transform
(Θ, F) ↔ (H, F∗
)
Natural parameters Expectation parameters
Original parameters
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
36. ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó ÜÔÓÒ ÒØ Ð Ñ Ð ×
·, · ÒÒ Ö ÔÖÓ Ù Ø ÓÒ Ú ØÓÖ× ´× Ð Ö ÔÖÓ Ù Øµ¸ Ñ ØÖ × ´Ê ÌÖ(AB∗)µ
t(x) ×Ù ÒØ ×Ø Ø ×Ø ×¸ k(x) ÙÜ Ð ÖÝ ÖÖ Ö Ø ÖÑ
p(x; θ) = ÜÔ( t(x), θ − F(θ) + k(x))
ÆÓØ ÙÒ ÕÙ ÓÑÔÓ× Ø ÓÒ Ù×
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Ò ×Ù ÒØ ×Ø Ø ×Ø t (x) = At(x) Ò θ = A−½θ
´ ÓÖ |A| = ¼ Ò ØÖ Ò× ÓÖÑ Ø ÓÒµ
ÓÒ×Ø ÒØ Ò F (θ) = F(θ) + c Ò k (x) = k(x) − c
Ä Ø Ù× Ú ×ÓÑ ÓÑÔÓ× Ø ÓÒ Ü ÑÔР׺ºº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
37. ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ê ÝÐ ÅÅ× ¾
ÁÒØÖ Î × ÙÐ Ö ÍÐØÖ ËÓÙÒ ´ÁÎÍ˵ Ñ Ò
Ê ÝÐ ×ØÖ ÙØ ÓÒ
p(x; λ) = x
λ¾ e− x¾
¾λ¾
x ∈ R+
d = ½ ´ÙÒ Ú Ö Ø µ
D = ½ ´ÓÖ Ö ½µ
θ = − ½
¾λ¾
Θ = (−∞, ¼)
F(θ) = − ÐÓ (−¾θ)
t(x) = x¾
k(x) = ÐÓ x
´Ï ÙÐÐ k = ¾µ
ÓÖÓÒ ÖÝ ÔÐ ÕÙ × ÖÓØ Ø ××٠׸ Ð Ø ××٠׸ Ð Ô Ø ××Ù ×
Ê ÝÐ Å ÜØÙÖ ÅÓ Ð× ´ÊÅÅ×µ
ÓÖ × Ñ ÒØ Ø ÓÒ Ò Ð ×× Ø ÓÒ Ø × ×
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
38. ËØ Ø ×Ø Ð Ñ ÜØÙÖ × Ù×× Ò ÅÅ× ½¾¸ ¾ ¸ ½¿
Ù×× Ò Ñ ÜØÙÖ ÑÓ Ð× ´ ÅÅ×µ ÑÓ Ð ÐÓÛ Ö ÕÙ Ò Ýº
ÓÐÓÖ Ñ ÒØ ÖÔÖ Ø × ÜÝÊ ÔÓ ÒØ × Øº
Ù×× Ò ×ØÖ ÙØ ÓÒ p(x; μ, Σ)
½
(¾π)
d
¾
√
|Σ|
e− ½
¾ DΣ−½ (x−μ,x−μ)
ËÕÙ Ö Å Ð ÒÓ × ×Ø Ò
DQ(x, y) = (x − y)T Q(x − y)
x ∈ Rd
d ´ÑÙÐØ Ú Ö Ø µ
D = d(d+¿)
¾ ´ÓÖ Öµ
θ = (Σ−½μ, ½
¾Σ−½) = (θv , θM)
Θ = R × Sd
++
F(θ) = ½θT
v θ−½
M θv − ½
¾ ÐÓ |θM| +
d
¾ ÐÓ π
t(x) = (x, −xxT )
k(x) = ¼
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
39. ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ÌÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
η = E[t(x)] = ∇F(θ), θ = (∇F)−½(η) = ∇F∗
(η)
ˆη = 1
n i t(xi) = ¯t
minθ F(θ) − θ, ¯t
Convex optimization Trivial solution
natural parameter: θ-coordinates expectation parameter: η-coordinates
∇F(·)
∇F−1
(·) = ∇F∗
(·)
ÐÓ× ¹ ÓÖÑ Ò ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ η
ˆη = ½
n i t(xi )
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ Ò Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ÓÓÖ Ò Ø ×Ý×Ø Ñ θº
Ñ Üθ l(θ; x½, ..., xn) = ½
n i ( t(xi ), θ − F(θ)) ≡ Ñ Òθ F(θ) − θ, ¯t ´Ø Ø
׸ ∇F(ˆθ) = ¯tµ
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿ »½
41. ÓÐØÞÑ ÒÒ¹ × ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð Ô Ý× ×
Ä Ø E(X; θ) Ò Ò Ö Ý ÙÒ Ø ÓÒº
p(X; θ) =
½
Z(θ)
ÜÔ(−E(X; θ))
Z(θ) ÒÓÖÑ Ð Þ Ø ÓÒ ØÓÖ ´ º Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒµ
Z(θ) =
x
ÜÔ(−E(X; θ)) ν(x)
F(θ) = ÐÓ Z(θ)
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ½»½
42. Ì Ó × ÖÚ ÔÓ ÒØ ˆP Ò Ò ÓÖÑ Ø ÓÒ ÓÑ ØÖÝ
{Pθ}θ Ô Ö Ñ ØÖ ´ ÜÔÓÒ ÒØ Ð Ñ Ðݵ ÑÓ Ð¸ ÒØ Ð
Î Û Pθ × ÔÓ ÒØ ÓÒ Ñ Ò ÓÐ ´ Ù Ð ÓÓÖ Ò Ø × θ Ò ηµ
Ç × ÖÚ ÔÓ ÒØ ˆP Û Ø η¹ ÓÓÖ Ò Ø t(x) = ½
n i t(xi ) ´ÅÄ µ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
Ï × ÐÐ × Ð Ø Ö Ø Ø ˆP × m¹ÔÖÓ Ø ÓÒ Ó Ø ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ ÓÒ Ø
e¹ غºº
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¾»½
43. ÅÄ Ó ÜÔÓÒ ÒØ Ð Ñ Ð × ¾¼
ˆη = t(x) ÙØ Û ÛÓÙÐ Ð ˆθ = (∇F−½)(ˆη)
Ú ÐÙ Ó Ø Ñ Ü ÑÙÑ Ð Ð ÓÓ
l(θ; x½, ..., xn) = F∗
(ˆη) + k(x)
k(x) = ½
n
n
i=½ k(xi )
F∗ × Ò ¹ ÒØÖÓÔÝ
Ï Ò F(θ) ÒÓØ Ò ÐÓ× ¹ ÓÖÑ ÓÒØÖ ×Ø Ú Ú Ö Ò ´Å Å µ¸ × ÓÖ
Ñ Ø Ò ´ × Ö Ú Ö Ò µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ¾º × Ö ÁÒ ÓÖÑ Ø ÓÒ¹ ºÄ Ò Ö ØÖ Ò× ÓÖÑ Ø ÓÒ ¿»½
44. ÁÁº ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó
ÔÖÓ ÐØÝ Ñ Ò ÓÐ ×
(M, g)
(M, g, ∇, ∇∗) ⇔ (M, g, T)
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ × »½
45. ÈÓÔÙÐ Ø ÓÒ ×Ô ² È Ö Ñ Ø Ö ×Ô
Àº ÀÓØ ÐÐ Ò ½ ´½ ¿¼µ¸ º ʺ Ê Ó ´½ µ
P = {p(x|θ) | θ ∈ Θ} Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ׸ Ø
ÔÓÔÙÐ Ø ÓÒ ×Ô ¸
Θ¸ Ø Ô Ö Ñ Ø Ö ×Ô Ó Ñ Ò× ÓÒ D
ÑÑ Ö× ÓÒ i(θ) = p(x|θ) ÖÓÑ Ø Ô Ö Ñ Ø Ö ×Ô ØÓ Ø ÔÓÔÙÐ Ø ÓÒ
×Ô
i ÓÒ ¹ØÓ¹ÓÒ ´ÑÓ Ð ÒØ Ð Øݵ
i Ó Ö Ò Ñ(Θ) = D
∂p(x|θ)
∂θ½
, ...,
∂p(x|θ)
∂θD
ººº Ö Ð Ò ÖÐÝ Ò Ô Ò ÒØ
ÓÑ ØÖ ×ØÖÙ ØÙÖ × Ó ËÈ Ñ ØÖ × Û Ò Û ÓÒ× Ö Ø Ô ÖØ ÙÐ Ö
×Ô {N(¼, Σ) | Σ ¼}
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
46. × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ Áŵ
ÐÓ ¹Ð Ð ÓÓ l(θ|x) = ÐÓ p(x|θ)¸ ∂i = ∂
∂θi
º
Å ØÖ Ø Ò×ÓÖ¸ D × D Ñ ØÖ Ü g = [gij ] = i,j gij xi ⊗ xj ´Ø Ò×ÓÖ
ÔÖÓ Ù Øµ
gij = Eθ[∂i l(θ)∂j l(θ)]
ÁÅ Ò Ö ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ ×
gij =
x
∂i p(x|θ)∂j p(x|θ) x
g ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø ´ËÈ µ¸ ÒÓÒ¹ Ò Ö Ø Û Ò {∂i p(x|θ)}i
Ö Ð Ò Ö Ò Ô Ò ÒØ ´ÔÖÓ Ð Ñ Û Ø Ñ ÜØÙÖ ÑÓ Ð× Û Ö ∃θ, I(θ) = ¼µ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
47. × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ² À ×× Ò
Æ Ø Ú ÜÔ Ø Ø ÓÒ Ó Ø À ×× Ò Ó Ø ÐÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
gij = Eθ[∂i l(θ)∂j l(θ)]
gij =
x
∂i p(x|θ)∂j p(x|θ) x
gij = −Eθ[∂i ∂j l(θ)]
ÓÖ Ò ØÙÖ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × p(x|θ) = ÜÔ( θ, x − F(θ))¸
I(θ) = ∇¾F(θ) ¼
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
48. × Ö Ò ÓÖÑ Ø ÓÒ ÒÚ Ö Ò Ò ÓÚ Ö Ò
ÁÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø × ÑÔÐ ×Ô X Êκ Û Ø
p(x|θ) Ò Y = f (X) ÓÖ Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ f (·) Û Ø Ò× ØÝ
¯p(y|θ)º
gij (θ) = ¯gij (θ)
ÓÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø Ô Ö Ñ Ø Ö ×Ô Ä Ø
η = η(θ) Ò ÒÚ ÖØ Ð ØÖ Ò× ÓÖÑ Ø ÓÒ Û Ø ¯pη(x) = pη(θ)(x)
¯gij (η) = gkr |η=η(θ)
∂θk
∂ηi
∂θr
∂ηj
×Ù ÒØ ×Ø Ø ×Ø × p(x|t, θ) = p(x|t)¸ ÒÓÒ¹ Ø ÖÑ Ò ×Ø Å Ö ÓÚ
ÑÓÖÔ ×Ñ ØÖ Ò× ÓÖÑ Ø ÓÒ× ´×Ø Ø ×Ø Ð ÒÚ Ö Ò µº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
49. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ
(M, g) Ê Ñ ÒÒ Ò Ñ Ò ÓÐ
·, · ¸ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ g Ò Ø ÔÓ× Ø Ú Ð Ò Ö ÓÖÑ ÓÒ
Ø Ò ÒØ ×Ô Tx M ´ Ô Ò × ×ÑÓÓØ ÐÝ ÓÒ xµ
· x u = u, u ½/¾ ××Ó Ø ÒÓÖÑ Ò TxM
ρ(x, y) Ñ ØÖ ×Ø Ò ØÛ Ò ØÛÓ ÔÓ ÒØ× ÓÒ Ø Ñ Ò ÓÐ M ´Ð Ò Ø
×Ô µ
ρ(x, y) = Ò
½
¼
˙γ(t) t, γ ∈ C½
([¼, ½], M), γ(¼) = x, γ(½) = y
Ë ÓÖØ ×Ø Ô Ø × ´Ð Ò Ø ×Ô µ
ÙØ Ø Ò ÐÐÝ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ ÛÖغ Ä Ú ¹ Ú Ø Ñ ØÖ ÓÒÒ Ø ÓÒ ∇Ä º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
50. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ñ Ô
ÄÓ Ð Ñ Ô ÖÓÑ Ø Ø Ò ÒØ ×Ô TxM ØÓ Ø Ñ Ò ÓÐ Ò Û Ø
Ó × × ´ÛÖØ ∇µº
∀x ∈ M, D(x) ⊂ Tx M : D(x) = {v ∈ TxM : γv (½) × Ò }
Û Ø γv Ñ Ü Ñ Ð ´ º º¸ Ð Ö ×Ø ÓÑ Òµ Ó × Û Ø γv (¼) = x Ò
γv (¼) = vº
ÜÔÓÒ ÒØ Ð Ñ Ô
ÜÔx (·) : D(x) ⊆ TxM → M
ÜÔx (v) = γv (½)
D × ×Ø Ö¹× Ô º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½
51. Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÜÔÓÒ ÒØ Ð Ò ÄÓ Ö Ø Ñ Ñ Ô×
p
Tp
M
Xp
y
ÜÔ : y ∈ M → Xp ∈ Tp
ÐÓ = ÜÔ−½ : Xp ∈ Tp → y ∈ M
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ½»½
52. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × ×ÑÓÓØ Ô Ø Û ÐÓ ÐÐÝ Ñ Ò Ñ Þ × Ø ×Ø Ò ØÛ Ò
ØÛÓ ÔÓ ÒØ׺
Ú Ò Ú ØÓÖ v ∈ TxM Û Ø × ÔÓ ÒØ x¸ Ø Ö × ÙÒ ÕÙ Ó ×
×Ø ÖØ Ø x Û Ø ×Ô v Ø Ø Ñ ¼ t → ÜÔx(tv) ÓÖ t → γt(v)º
Ó × ÓÒ [a, b] × Ñ Ò Ñ Ð Ø× Ð Ò Ø × Ð ×× ÓÖ ÕÙ Ð ØÓ ÓØ Ö׺ ÓÖ
ÓÑÔÐ Ø M ´ º º¸ ÜÔx (v)µ¸ Ø Ò x, y ∈ M¸ Ø Ö Ü ×Ø× Ñ Ò Ñ Ð
Ó × ÖÓÑ x ØÓ y Ò Ø Ñ ½º
γ·(x, y) : [¼, ½] → M¸ t → γt(x, y) Û Ø Ø ÓÒ Ø ÓÒ× γ¼(x, y) = x Ò
γ½(x, y) = yº
U ⊆ M × ÓÒÚ Ü ÓÖ ÒÝ x, y ∈ U¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ Ò Ñ Ð
Ó × γ·(x, y) Ò M ÖÓÑ x ØÓ yº Ó × ÙÐÐÝ Ð × Ò U Ò Ô Ò ×
×ÑÓÓØ ÐÝ ÓÒ x, y, tº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½
53. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × ×
Ó × γ(x, y) ÐÓ ÐÐÝ Ñ Ò Ñ Þ Ò ÙÖÚ × Ð Ò Ò x ØÓ y
ËÔ Ú ØÓÖ γ (t) Ô Ö ÐÐ Ð ÐÓÒ γ
Dγ (t)
t
= ∇γ (t)γ (t) = ¼
Ï Ò Ñ Ò ÓÐ M Ñ Ò Rd ¸ Ð Ö Ø ÓÒ × ÒÓÖÑ Ð ØÓ Ø Ò ÒØ
ÔÐ Ò
γ (t) ⊥ Tγ(t)M
γ (t) = c¸ ÓÒ×Ø ÒØ ´× ݸ ÙÒ Øµº
⇒ È Ö Ñ Ø Ö Þ Ø ÓÒ Ó ÙÖÚ × Û Ø ÓÒ×Ø ÒØ ×Ô ´ÓØ ÖÛ × ¸ ÝÓÙ Ø Ø
ØÖ Ó Ø Ó × ÓÒÐݺººµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½
54. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó × × Ò Ñ Ò×
ÓÒ×Ø ÒØ ×Ô Ó × γ(t) ×Ó Ø Ø γ(¼) = x Ò γ(ρ(x, y)) = y ´ ÓÒ×Ø ÒØ
×Ô ½¸ Ø ÙÒ Ø Ó Ð Ò Ø µº
x#ty = m = γ(t) : ρ(x, m) = t × ρ(x, y)
ÓÖ Ü ÑÔÐ ¸ Ò Ø Ù Ð Ò ×Ô
x#ty = (½ − t)x + ty = x + t(y − x) = m
ρE (x, m) = t(y − x) = t y − x = t × ρ(x, y), t ∈ [¼, ½]
⇒ m ÒØ ÖÔÖ Ø × Ñ Ò ´ ÖÝ ÒØ Öµ ØÛ Ò x Ò y
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
55. × × Ó Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÁÒ Ø Ú ØÝ Ö Ù×
ÓÑÓÖÔ ×Ñ ÖÓÑ Ø Ø Ò ÒØ ×Ô ØÓ Ø Ñ Ò ÓÐ
ÁÒ Ø Ú ØÝ Ö Ù× Ò (M) Ð Ö ×Ø r > ¼ ×Ù Ø Ø ÓÖ ÐÐ x ∈ M¸ Ø Ñ Ô
ÜÔx (·) Ö ×ØÖ Ø ØÓ Ø ÓÔ Ò ÐÐ Ò Tx M Û Ø Ö Ù× r × Ò Ñ Ò º
ÐÓ Ð Ò Ø Ú ØÝ Ö Ù× Ò ÑÙÑ Ó Ø Ò Ø Ú ØÝ Ö Ù× ÓÚ Ö ÐÐ ÔÓ ÒØ×
Ó Ø Ñ Ò ÓÐ º
ÁÑÔÓÖØ ÒØ ÓÖ Ò Ú Ø Ò Ò ÓÖØ ÖÓÑ TxM ØÓ M ´ ÜØÖ Ò× » ÒØÖ Ò×
ÓÑÔÙØ Ò µººº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
56. Ê Ñ ÒÒ Ò ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
ÓÒ× Ö (M, g) Û Ø g = I(θ)¸ ÀÓØ ÐÐ Ò ´½ ¿¼µ¸ Ê Ó ´½ µº × Ö
Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü × ÙÒ ÕÙ ÙÔ ØÓ ÓÒ×Ø ÒØ ´ ÓÖ ×Ø Ø ×Ø Ð ÒÚ Ö Ò µº
ÓÑ ØÖÝ Ó ÑÙÐØ ÒÓÑ Ð× × ×Ô Ö Ð ´ÓÒ Ø ÓÖØ Òص
ÓÖ ÙÒ Ú Ö Ø ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÓÖ
Ù Ð Ò ÓÑ ØÖÝ ´ÐÓ Ø ÓÒ ÓÒÐݵ
p(x|μ, σ) =
½
σ
p¼
x − μ
σ
, X = μ + σX¼
´ÆÓÖÑ Ð¸ ٠ݸ Ä ÔÐ ¸ ËØÙ ÒØ t¹¸ Ø ºµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
57. Ì Ò ÒØ ÔÐ Ò ×¸ Ø Ò ÒØ ÙÒ Ð ×¸ Ú ØÓÖ Ð ×
Tp Ø Ò ÒØ ÔÐ Ò Ø p
TM¸ Ø Ò ÒØ ÙÒ Ð
Ú ØÓÖ Ð ÐÓ Ð × Ø ÓÒ Ó Ø Ø Ò ÒØ ÙÒ Ð
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Tx
MQ(p, q) = (p − q) Q(x)(p − q)
Ü ÓÑ× Ó Ø Ñ ØÖ ÓÖ Q(x) = g(x) ¼ ´ËÈ µº
Ê Ó³× ×Ø Ò ØÛ Ò ÐÓ× ÔÓ ÒØ× ÑÓÙÒØ× ØÓ ρ
√
¾ÃÄ =
√
ËÃĺ
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ ρ Å Ð ÒÓ × = Δθ I(θ)Δθº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
58. Ì Ò ÒØ ÔÐ Ò × × Ú ØÓÖ×
(∂i )x = ∂
∂θi x
Xx = D
i=½ Xi (∂i )x
Ò ÔÖÓÔ Ö Ñ ØÖ Ø Ò×ÓÖ gij (x) = gx (∂i , ∂j ) > ¼
M
x
TxM
Xp = D
i=1 Xi
(∂i)x
Yp = D
i=1 Y i
(∂i)x
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
59. α¹Ö ÔÖ × ÒØ Ø ÓÒ× Ò Ô Ö Ñ Ø Ö Þ Ø ÓÒ× Ó Ø Ø Ò ÒØ
ÔÐ Ò ×
fα(u) =
¾
½−αu
½−α
¾ , α = ½
ÐÓ u, α = ½.
α = −½ p(x|θ) → f−½(p(x|θ)) = p(x|θ) Ù×Ù Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒ Ó Ø
Ø Ò ÒØ ÔÐ Ò T
(−½)
x M Û Ø × × ∂
(−½)
i = ∂i º
α = ¼ ×ÕÙ Ö ÖÓÓØ Ö ÔÖ × ÒØ Ø ÓÒ p(x|θ) → f¼(p(x|θ)) = ¾ p(x|θ)º
∂(¼) Ô ÖÔ Ò ÙÐ Ö ØÓ θ¸ ÒØ Û Ø Ø Ø Ò ÒØ ÔÐ Ò T
(¼)
x Mº
α = ½ ÐÓ Ö Ø Ñ Ö ÔÖ × ÒØ Ø ÓÒ p(x|θ) → f½(p(x|θ)) = ÐÓ p(x|θ)º
∂(½) = ∂i f½(p(x|θ)) = ½
p(x|θ)∂i p(x|θ)
Ì Ò ÒØ ÔÐ Ò × Ö ÒÚ Ö ÒØ Ó Ø× Ó ÒÓØ Ô Ò ÓÒ Ø
α¹Ö ÔÖ × ÒØ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
60. ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL ¸ ÐÓÛ Ö ØÖ Ò ÙÐ Ö Ñ ØÖ Ü L
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÑÔÙØ Ò ÓÒ Ø Ò ÒØ ÔÐ Ò × Ù Ð Ò ÓÑÔÙØ Ò ÓÒ
ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× ÓÑÔÙØ Ø ÓÒ׺
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½
61. Ê Ñ ÒÒ Ò Å Ð ÒÓ × Ñ ØÖ Ø Ò×ÓÖ ´Σ−½
¸ ÈË µ
ρ(p½, p¾) = (p½ − p¾) Σ−½(p½ − p¾), g(p) = Σ−½ =
½ −½
−½ ¾
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ÓÑ ØÖÝ g(p) = f (p)I
´Î ×Ù Ð Þ Ø ÓÒ Û Ø Ì ××ÓØ Ò ØÖ Üµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ½»½
62. ÆÓÖÑ Ð» Ù×× Ò Ñ ÐÝ Ò ¾ ÐÓ Ø ÓÒ¹× Ð Ñ Ð ×
× Ö ÁÒ ÓÖÑ Ø ÓÒ Å ØÖ Ü ´ Áŵ
I(θ) = Ii,j(θ) = Eθ
∂
∂θi
ÐÓ p(x|θ)
∂
∂θj
ÐÓ p(x|θ) = Eθ[∂i l∂j l]
ÁÅ ÓÖ ÙÒ Ú Ö Ø ÒÓÖÑ Ð»ÑÙÐØ Ú Ö Ø ×Ô Ö Ð ×ØÖ ÙØ ÓÒ×
I(μ, σ) =
½
σ¾ ¼
¼ ¾
σ¾
=
½
σ¾
½ ¼
¼ ¾
I(μ, σ) = ½
σ¾ , ..., ½
σ¾ , ¾
σ¾
→ ÑÓÙÒØ ØÓ ÈÓ Ò Ö Ñ ØÖ x¾+ y¾
y¾ ¸ ÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò
ÙÔÔ Ö Ð ÔÐ Ò »×Ô º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½
63. Ê Ñ ÒÒ Ò ÈÓ Ò Ö ÙÔÔ Ö ÔÐ Ò Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
Ó× ρ(p½, p¾) = ½ +
p½ − p¾
¾
¾y½y¾
, g(p) =
½
y¾ ¼
¼ ½
y¾
=
½
y¾ I
ÓÒ ÓÖÑ Ð g(p) = ½
y¾ I
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½
64. Å ØÖ Ü ËÈ ×Ô × Ò ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ËÝÑÑ ØÖ ÈÓ× Ø Ú Ò Ø Ñ ØÖ × M ∀x = ¼, x Mx > ¼º
¾ ËÈ (¾) Ñ ØÖ Ü ×Ô × Ñ Ò× ÓÒ d = ¿ ÔÓ× Ø Ú ÓÒ º
ËÈ (¾) (a, b, c) ∈ R¿ : a > ¼, ab − c¾ > ¼
Ò Ô Ð ÒØÓ × Ø× Ó Ñ Ò× ÓÒ ¾¸ × Ø ÓÖÖ ×ÔÓÒ Ò ØÓ
ÓÒ×Ø ÒØ Ú ÐÙ Ó Ø Ø ÖÑ Ò ÒØ Ó Ø Ð Ñ ÒØ×
ËÈ (¾) = ËËÈ (¾) × R+
Û Ö ËËÈ (¾) = {a, b, c =
√
½ − ab) : a > ¼, ab − c¾ = ½}
Å ÔÔ Ò M(a, b, c) → H¾
x¼ = a+b
¾ ≥ ½, x½ = a−b
¾ , x¾ = c Ò ÝÔ Ö ÓÐÓ ÑÓ Ð ¿
z = a−b+¾ic
¾+a+b Ò ÈÓ Ò Ö × ¿ º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
65. Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
66. Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Ò Ú Å Ù× ØÖ Ò× ÓÖѺµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
67. Ê Ñ ÒÒ Ò ÓÑ ØÖÝ ÇÔØ Ñ Þ Ø ÓÒ ÓÒ Ø Ñ Ò ÓÐ Û Ø
Ø Ò ØÙÖ Ð Ö ÒØ ½
ÆÙÑ Ö Ð ÓÔØ Ñ Þ Ø ÓÒ ÓÒ Ñ Ò ÓÐ ×
Ò ÓÒ Ñ Ò ÓÐ ¸ Ò Ö Ð Þ Ù Ð Ò Ö ÒØ
∇xf (x) = ( ∂
∂x½
f (x), ..., ∂
∂xD
f (x))º
Ò ØÙÖ Ð Ö ÒØ Ö ×Ô Ø× ÒØÖ Ò× ÓÑ ØÖÝ Ó Ø Ñ Ò ÓÐ
˜∇θf (θ) = (I(θ))−½ × ∇θf (θ)
´ Ù Ð Ò ÓÑ ØÖÝ I(θ) = Iºµ
ÒÚ Ö ÒØ ÙÒ Ö Ò × Ó Ø Ô Ö Ñ Ø Ö Þ Ø ÓÒ ´Ò ØÙÖ Ð Ö ÒØ
ÓÒØÖ Ú Ö ÒØ ÓÖÑ Ó Ø Ö Òص
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÓÔØ Ñ Þ Ø ÓÒ ´Á ǵ¸ Ð ¹ ÓÜ ÓÔØ Ñ Þ Ø ÓÒ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
68. Â Ö Ý³× ÔÖ ÓÖ ÖÓÑ ÚÓÐÙÑ Ð Ñ ÒØ
ÎÓÐÙÑ Ó Ø Ñ Ò ÓÐ
v(M) = |g(θ)| θ < ∞
ÓÒ× Ö Ø ÔÖ ÓÖ ×ØÖ ÙØ ÓÒ
q(θ) =
½
v(M)
|g(θ)|
ÒÚ Ö ÒØ ÙÒ Ö Ö Ô Ö Ñ Ø Ö Þ Ø ÓÒ
Ý × Ò ×Ø Ø ×Ø × ´ Ò ÓØ Ö ±α¹ÚÓÐÙÑ Ð Ñ ÒØ Ò Á |g(θ)|
½±α
¾ µ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
69. Ò Ö ÒØ Ð ÓÑ ØÖÝÙ Ð ÓÒÒ ØÓÒ× ∇ Ò ∇∗
ÓÙÔÐ ÛØ Ñ ØÖ g
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
70. ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
ÓÒÒ Ø ÓÒ× × Ø ÓÖÖ ×ÔÓÒ Ò × ØÛ Ò Ú ØÓÖ× Ò Ø Ò ÒØ ×Ô ×
Tp Ò Tqº Ï Ò Ñ Ò ÓÐ M × Ñ Ò Rd ¸ Ø Ö Ü ×Ø× Ò ØÙÖ Ð
ÓÖÖ ×ÔÓÒ Ò º ÇØ ÖÛ × ¸ ÓÒÒ Ø ÓÒ× Ò ØÓ ÓÖÑ ÐÐÝ Ò º
ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø
Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
ÓÒÒ Ø ÓÒ× Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × Ò Ù Ø
× Ñ ÓÑ ØÖ ×ØÖÙ ØÙÖ º Ð ÒÓØ ÓÒ× Ó Ó × ×¸ ØÒ ××» ÙÖÚ ØÙÖ ¸
Ô Ö ÐÐ ÐÒ ×׸ ØÓÖ× ÓÒº
Ê Ñ ÒÒ Ò ×ØÖÙ ØÙÖ (M, g) × Ò Ò Ù Ñ ØÖ ÓÒÒ Ø ÓÒ
∇g = ∇Ä = ∇(¼)¸ ÐÐ Ø Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½
71. ÓÒÒ Ø ÓÒ× Ò Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ
p,q ÓÒÒ Ø ÓÒ ÖÓÑ Tp ØÓ Tq
p,q
: Tp → Tq
×Ó Ø Ø v ∈ Tp Ý Ð × w = p,q(v) ∈ Tq
ÖÓÑ Ð Ò Ö ×ÓÑÓÖÔ ×Ñ ØÛ Ò Ø Ò ÒØ ×Ô × Ó Ò ÓÖ Ò ÔÓ ÒØ× ØÓ
Ø Ò ÒØ ÔÓ ÒØ× ØÛ Ò Ö ØÖ ÖÝ ÔÓ ÒØ× Ý ÒØ Ö Ø Ò ÐÓÒ ÙÖÚ γp,q
ÓÒÒ Ø Ò p Û Ø qº
d¿ Ó ÒØ× Γijk(p) Ö ÕÙ Ö ÓÖ Ò Ò º
Î ØÓÖ Ð X ÐÓÒ γ Û Ø X(t + t) = γ(t),γ(t+ t) X(t)º Ï × Ý
Ú ØÓÖ Ð × {X(t) | t} ÐÓÒ γ Ö Ô Ö ÐÐ Ð Û Ø Ö ×Ô Ø ØÓ Ø
ÓÒÒ Ø ÓÒ º È Ö ÐÐ Ð ØÖ Ò×ÔÓÖغ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ½»½
72. ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇
∇ Ö ÒØ Ø ÓÒ Ó Ú ØÓÖ Ð Y Ò Ø Ö Ø ÓÒ Ó ÒÓØ Ö Ú ØÓÖ Ð
X¸ Ý Ð Ò Ú ØÓÖ Ð Z = ∇X Y º
∇ : V (M) × V (M) → V (M)
ÈÖÓÔ ÖØ × ∇ × ÓÙÐ Ú
∇f½X½+f¾X¾ Y = f½∇X½ Y + f¾∇X¾ Y
∇X (Y½ + Y¾) = ∇X Y½ + ∇X Y¾
∇X (fY ) = f ∇X Y + (Xf )Y
Ä Ò Ö ÓÑ Ò Ø ÓÒ× Ó ÓÚ Ö ÒØ Ö Ú Ø Ú × × ÓÚ Ö ÒØ Ö Ú Ø Ú
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½
73. Î ØÓÖ Ð Ô Ö ÐÐ Ð ØÓ ÙÖÚ
Î ØÓÖ Ð Y ∈ V (M) × ∇¹Ô Ö ÐÐ Ð ØÓ ÙÖÚ γ(t)
∀t, ∀X ∈ V (M), ∇˙γ(t)Y = ¼
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½
74. Ó × × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÙÖÚ × γ ÓÒ (M, ∇) ×Ù Ø Ø
∀t, ∇˙γ(t) ˙γ(t) = ¼
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
75. Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Ò Ø ÓÒÒ Ø ÓÒ
ÁÒ Ò Ö Ð¸ ×Ô Ý ÓÒÒ Ø ÓÒ» ÓÚ Ö ÒØ ∇ Ý D¿ Ó ÒØ×
∇∂i
∂j = Γk
ij ∂k, ∀i, j, k ∈ {½, ..., D}
(M, ∇)¸ θ ÓÓÖ Ò Ø ×Ý×Ø Ñº
θ × Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ
Î ØÓÖ Ð × {∂i = ∂
∂θi
} Ö Ô Ö ÐÐ Ð Ò M
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, ∇∂i
∂j = ¼
ÕÙ Ú Ð ÒØ ØÓ ∀i, j, k, Γk
ij = ¼ ´ Ö ×ØÓ Ð ×ÝÑ ÓÐ×µ
Ï Ò Ø Ö Ü ×Ø× Ò Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ ÓÖ (M, ∇)¸ Û × Ý Ø Ø M ×
غ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
76. Å ØÖ ÓÒÒ Ø ÓÒ ËÔ Ð × Ó Ä Ú ¹ Ú Ø ÓÒÒ Ø ÓÒ
∇LC = ∇(¼)
Ú Ò (M, g)¸ Ø Ö Ü ×Ø× ÙÒ ÕÙ Ñ ØÖ ÓÒÒ Ø ÓÒ¸ Ø Ä Ú ¹ Ú Ø
ÓÒÒ Ø ÓÒ
Γk
ij =
∂i gjk +∂j gkj −∂k gij
¾
Ò Û Ú g(∇
(¼)
∂i
∂j, ∂k ) = Γk
ij º
È Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÔÖ × ÖÚ × Ø ÒÒ Ö ÔÖÓ Ù Øº
Ì Ö ÓÖ Ò Ð × Ö Ôظ Ò ÓÖØ Ô Ö ÐÐ Ð ØÖ Ò×ÔÓÖØ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
77. ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ
N ⊂ M Ó (M, N) × ÙØÓÔ Ö ÐÐ Ð
ÈÖÓÔ ÖØÝ ÓÒ Ø Ø Ò ÒØ ÙÒ Ð TN
∀X, Y ∈ TN, ∇X Y ∈ TN
È Ö ÐÐ Ð ´∇µ¹ØÖ Ò×ÔÓÖØ Ó Ø Ò ÒØ Ú ØÓÖ× ÓÖ N Ö Ø Ò ÒØ Ú ØÓÖ× Ó Nº
ÆÓØ ÓÒ Ó ÝÔ ÖÔÐ Ò × Ò Ö ÒØ Ð ÓÑ ØÖÝ
ÓÖ Ò Ò ÓÒÒ Ø ÓÒ Û Ø ÓÓÖ Ò Ø ×Ý×Ø Ñ θ¸ ÕÙ Ú Ð ÒØ ØÓ
Ò Ò ×Ù ×Ô Ó θ ∈ RDº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
79. Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ×
ÌÛÓ Ò ÓÒÒ Ø ÓÒ× Ò ∗
´ Ò ÓÚ Ö ÒØ Ö Ú Ø Ú × ∇ Ò ∇∗µ
ÈÖÓÔ ÖØÝ Ó ÒÒ Ö ÔÖÓ Ù Ø
X, Y g = X,
∗
Y g
Ê Ñ ÒÒ Ò ÓÑ ØÖÝ = ∗
γ
(M, g, ∇, ∇∗
)
X
Y
∗
Y
X
X, Y g = X,
∗
Y g
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
80. Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ× e¹ ÓÒÒ Ø ÓÒ Ò m¹ ÓÒÒ Ø ÓÒ
ÜÔÓÒ ÒØ Ð e¹ Ó × × Ò Ñ ÜØÙÖ m¹ Ó × × ÓÖ ÔÖÓ Ð ØÝ Ò× Ø ×
γm(p, q, α) : r(x, α) = αp(x) + (½ − α)q(x)
γe(p, q, α) : ÐÓ r(x, α) = αp(x) + (½ − α)q(x) − F(t)
∇
(e)
˙γe
˙γe(t) = ¼, ∇
(m)
˙γm
˙γm(t) = ¼
p
q
γm
γe
Ð Ø ÙØ ÒÓØ Ê Ñ ÒÒ Ò Ø e¹ Ø Ò m¹ غ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½
82. Ù ÐÐÝ Ø ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×
θ¹ Ò η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
Ô ÖØ Ð Ö Ú Ø Ú × ∂i = ∂
∂θi
¸ ∂i = ∂
∂ηi
∂i , ∂j = δij ´ ÓÖØ Ó ÓÒ Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ×µ
Ñ ØÖ ¹ ÓÙÔÐ ÓÒÒ Ø ÓÒ
X Y , Z = ∇X Y , Z + Y , ∇∗
X Z
Γijk(θ) = Γ∗
ijk(η) = ¼
Ì × × Ý Ú ÒØ ÓÚ Ö Ø Ê Ñ ÒÒ Ò ´∇LC µ ×ØÖÙ ØÙÖ Ó × × Ö
ÒÓÛÒ Ò ÐÓ× ÓÖÑ Û Ø Ø Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ׺ Ä Ò × Ñ ÒØ× Ò
Ø Ö Ø θ¹ ÓÖ η¹ ÓÓÖ Ò Ø ×Ý×Ø Ñ׺
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¾»½
83. Ù ÐÐÝ Ø Ñ Ò ÓÐ × ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ F
ÒÓÒ Ð ÓÑ ØÖÝ Ò Ù Ý ×ØÖ ØÐÝ ÓÒÚ Ü Ò Ö ÒØ Ð ÓÒÚ Ü
ÙÒ Ø ÓÒ Fº
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ× F Ò Ä Ò Ö ÓÒÚ Ü ÓÒ Ù Ø G = F∗
Ù Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ× θ = ∇F∗(η) Ò η = ∇F(θ)º
Å ØÖ Ø Ò×ÓÖ g ÛÖ ØØ Ò ÕÙ Ú Ð ÒØÐÝ Ù× Ò Ø ØÛÓ ÓÓÖ Ò Ø ×Ý×Ø Ñ×
gij (θ) =
∂¾
∂θi ∂θj
F(θ), gij
(η) =
∂¾
∂ηi ∂ηj
G(η)
Ú Ö Ò ÖÓÑ ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ó ÓÒÚ Ü ÓÒ Ù Ø ×
D(P : Q) = F(θ(P)) + F∗
(η(Q)) − θ(P), η(Q)
Ì × × Ö Ñ Ò Ú Ö Ò Ò × Ù × ¹ µ ººº
ÜÔÓÒ ÒØ Ð Ñ ÐÝ p(x|θ) = ÜÔ( θ, x − F(θ))
Ì ÖÑ ÒÓÐÓ Ý F ÙÑÙÐ ÒØ ÙÒ Ø ÓÒ¸ G Ò Ø Ú ÒØÖÓÔÝ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¿»½
84. ÓÑ ØÖÝ Ò Ù ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
F ×ØÖ ØÐÝ ÓÒÚ Ü ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
gij =
∂¾F
∂i ∂j
Γ
(α)
ijk =
½ − α
¾
∂¿F
∂i ∂j ∂k
Ù ÐÐÝ ÓÙÔÐ ±α¹ ÓÒÒ Ø ÓÒ× ´ Ò ØÓÖ× ÓÒ¹ Ö ¸ ÃÙÖÓ× ½ ¸ ½ µ
∀X, Y , Z ∈ V (M), Xg(Y , Z) = g(∇
(α)
X Y , Z) + g(Y , ∇
(α)
X Z)
ÙÖÚ ØÙÖ κ = ½−α¾
´ Ò Ò α = ±½ ⇔ κ = ¼¸ ص
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
85. Ö Ñ Ò Ú Ö Ò × ÒÓÐ Ö Ò ÖÓÑ ØÓÔØÑÞ ØÓÒ ÓÑÑÙÒØÝ
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
86. Ö Ñ Ò Ú Ö Ò ×
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Ò Ð٠׺ºº
×ÕÙ Ö Ù Ð Ò ×Ø Ò F(x) = x, x ¸ Ò ×ÕÙ Ö Å Ð ÒÓ ×
F(x) = x Qx ´ÓÒÐÝ ×ÝÑÑ ØÖ Ú Ö Ò ×µ
´ ÜØ Ò µ ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò F(x) = i xi ÐÓ xi − xi
´Ë ÒÒÓÒ Ò ÓÖÑ Ø ÓÒµ¸
ÃÄ(p : q) =
i
pi ÐÓ
pi
qi
+ qi − pi
F(x) = − i ÐÓ xi ´ ÙÖ Ò ÓÖÑ Ø ÓÒµ¸ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò
ÁË(p : q) =
i
pi
qi
− ÐÓ
pi
qi
− ½
Ò Ñ ÒÝ ÓØ Ö×
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
87. Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´Áµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ F¸ Ö Ô ÔÐÓØ F : (x, F(x))º
DF (p : q) = F(p) − F(q) − p − q, ∇F(q)
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
88. Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁµ
ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ f ¸ Ö Ô ÔÐÓØ F : (x, f (x))º
Bf (p||q) = f (p) − f (q) − (p − q)f (q)
F
X
pq
ˆp
ˆq
Hq
Bf(p||q)
Bf (.||q) Ú ÖØ Ð ×Ø Ò ØÛ Ò Ø ÝÔ ÖÔÐ Ò Hq Ø Ò ÒØ ØÓ F Ø Ð Ø
ÔÓ ÒØ ˆq¸ Ò Ø ØÖ Ò×Ð Ø ÝÔ ÖÔÐ Ò Ø ˆpº
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
89. Ö Ñ Ò Ú Ö Ò ÓÑ ØÖ ÒØ ÖÔÖ Ø Ø ÓÒ ´ÁÁÁµ
Ö Ñ Ò Ú Ö Ò Ò Ô Ø ÒØ Ö Ð×
B(θ½ : θ¾) = F(θ½) − F(θ¾) − θ½ − θ¾, ∇F(θ¾) , ´½µ
=
θ½
θ¾
∇F(t) − ∇F(θ¾), t , ´¾µ
=
η¾
η½
∇F∗
(t) − ∇F∗
(η½), t , ´¿µ
= B∗
(η¾ : η½) ´ µ
θ
η = ∇F(θ)
θ2 θ1
η2
η1
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô »½
90. Ù Ð Ö Ñ Ò Ú Ö Ò × ² ÒÓÒ Ð Ú Ö Ò ¿
ÓÖ P Ò Q ÐÓÒ Ò ØÓ Ø × Ñ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÃÄ(P : Q) = EP ÐÓ
p(x)
q(x)
≥ ¼
= BF (θQ : θP ) = BF∗ (ηP : ηQ)
= F(θQ) + F∗
(ηP ) − θQ, ηP
= AF (θQ : ηP ) = AF∗ (ηP : θQ)
Û Ø θQ ´Ò ØÙÖ Ð Ô Ö Ñ Ø Ö Þ Ø ÓÒµ Ò ηP = EP [t(X)] = ∇F(θP) ´ÑÓÑ ÒØ
Ô Ö Ñ Ø Ö Þ Ø ÓÒµº
ÃÄ(P : Q) = p(x) ÐÓ
½
q(x)
x
H×(P:Q)
− p(x) ÐÓ
½
p(x)
x
H(p)=H×(P:P)
Ë ÒÒÓÒ ÖÓ××¹ ÒØÖÓÔÝ Ò ÒØÖÓÔÝ Ó ¿
H×
(P : Q) = F(θQ) − θQ, ∇F(θP ) − EP [k(x)]
H(P) = F(θP ) − θP , ∇F(θP ) − EP [k(x)]
H(P) = −F∗
(ηP ) − EP [k(x)]
¾¼½ Ö Ò Æ Ð× Ò ¿º ÓÑ ØÖ ×ØÖÙ ØÙÖ ×¹½ºÈÓÔÙÐ Ø ÓÒ ×Ô ¼»½
91. ÁÁÁº ÈÖÒ ÔÐ Ó Å ÜÑÙÑÒØÖÓÔÝ ´Å Ü Òص
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½»½
92. Å Ü ÑÙÑ ÒØÖÓÔÝ ´Å Ü Òص
ÍÒ Ö ÓÒ×ØÖ Ò ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñ ´Â ÝÒ ×³× ÔÖ Ò ÔÐ ÓÖ
Ñ Ü ÑÙÑ ÒÓÖ Ò µ
Ñ Ü
p
H(p) =
x
p(x) ÐÓ
½
p(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
Å Ü Ñ Þ Ò ÓÒ Ú ÙÒ Ø ÓÒ ´Hµ ×Ù Ø ØÓ Ð Ò Ö ÓÒ×ØÖ ÒØ×
ÓÒÚ Ü ÓÔØ Ñ Þ Ø ÓÒ ÔÖÓ Ð Ñº
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¾»½
93. ÑÓÖ Ò Ö Ð × ØØ Ò ÓÖ Å Ü ÒØ
Ú Ò ÔÖ ÓÖ q¸ Ò Ø ÐÓ× ×Ø ×ØÖ ÙØ ÓÒ Û × Ø × Ø Ð Ò Ö
ÓÒ×ØÖ ÒØ×
Ñ Ò
p
ÃÄ(p : q) =
x
p(x) ÐÓ
p(x)
q(x)
x
p(x)ti (x) = mi , ∀i ∈ {½, ..., D}
p(x) ≥ ¼, ∀x ∈ {½, ..., n}
x
p(x) = ½
→ Å Ü ÑÙÑ ÒØÖÓÔÝ Û Ò q = ½
n ¸ Ø ÙÒ ÓÖÑ ÔÖ ÓÖ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ¿»½
94. Ò ÐÐÙ×ØÖ Ø ÓÒººº
prior q
p∗
= minp KL(p : q) m-flat
e-projection
affine subspace
induced by
constraints
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
95. Ò ÐÝØ ×ÓÐÙØ ÓÒ ÜÔÓÒ ÒØ Ð Ñ Ð ×
Í× Ò Ä Ö Ò ÑÙÐØ ÔÐ Ö× θ Û Ø t(x) = (t½(x), ..., tD (x))
p(x) =
½
Z(θ)
ÜÔ ( θ, t(x) ) q(x)
ººº ÙØ Ä Ö Ò ÑÙÐØ ÔÐ Ö× Ù×Ù ÐÐÝ ÒÓØ Ò ÜÔÐ Ø ÓÖѺ
ÒÓÒ Ð ÜÔÓÒ ÒØ Ð Ñ Ð × ÜÔ( θ, t(x) − F(θ) + k(x))
ÈÖ ÓÖ q Ú × Ø ÖÖ Ö Ñ ×ÙÖ q(x) = ek(x)
Z(θ) × Ø ÒÓÖÑ Ð Þ Ö
ÐÐ × ×ØÖ ÙØ ÓÒ¸ Å ÜÛ Ðй ÓÐØÞÑ ÒÒ ×ØÖ ÙØ ÓÒ Ò ×Ø Ø ×Ø Ð
Ñ Ò ×
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
96. ØÓÝ Ü ÑÔÐ ÓÖ Å Ü ÒØ
×ØÖ ÙØ ÓÒ p Û Ø ×ÙÔÔÓÖØ R × E[X] = ¿ Ò E[X¾] = ¾ º Ï
×ØÖ ÙØ ÓÒ × ÓÙÐ Û ÓÓ× ÓÖ p
t(x) = (x, x¾) Ò × Ø ÙÒ Ú Ö Ø Ù×× Ò Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ׺
ËÓ Û ÓÓ× p ∼ N(μ = ¿, σ = )
Ò Ò Ö Ð ÒÓØ ×Ó ×Ý Û Ö Ú Ò E[Xk] ÓÖ k > ¾ººº ÙÒ ÕÙ Ò ×× ÙØ ÒÓ
ÐÓ× ÓÖѺºº
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
97. ÒÓØ Ö Ò× Ø ÙÐ ÔÖÓÓ
ÒÝ ÓØ Ö ×ØÖ ÙØ ÓÒ p = p∗ × Ø × Ý Ò Ø ÓÒ×ØÖ ÒØ× × ×Ù Ø Ø
ÃÄ(p : q) > ÃÄ(p∗ : q)º
ÓÒ× Ö Ø Ö Ò ÃÄ(p : q) − ÃÄ(p∗ : q)
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p∗
(x) ÐÓ
p∗(x)
q(x)
...
=
x
p(x) ÐÓ
p(x)
q(x)
−
x
p(x) ÐÓ
p∗(x)
q(x)
=
x
p(x) ÐÓ
p(x)
p∗(x)
= ÃÄ(p : p∗
) > ¼
ÈÝØ ÓÖ Ò Ö Ð Ø ÓÒ ÃÄ(p : q) = ÃÄ(p : p∗
) + ÃÄ(p∗
: q)
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
98. Ò ÐÐÙ×ØÖ Ø ÓÒ Ó Å Ü ÒØ Û Ø ÔÖ ÓÖ q(x)ººº
prior q
p∗
= minp KL(p : q) m-flat
e-projection
affine subspace
induced by
constraints
KL(p : q) = KL(p : p∗
) + KL(p∗
: q)
m-geodesic
p
KL(p : q)
KL(p : p∗
)
KL(p∗
: q)
ÈÝØ ÓÖ ×³ Ø ÓÖ Ñººº
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
99. ÓÑÔÙØ Ò Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ× × ÐÝ
ÈÖÓ Ø Ø ÔÖ ÓÖ q ÓÒØÓ A = {p | Ep[ti (x)] = mi , ∀i ∈ {½, ..., D}}º Ä Ø
Ai = {p | Ep[ti (x)] = mi }
Ä Ø t = ¼ Ò p¼ = q
Ê Ô Ø ÙÒØ Ð ÓÒÚ Ö Ò ´Û Ø Ò Ø Ö × ÓÐ µ
pt+½ = Á¹ÔÖÓ Ø ÓÒ Ó pt ÓÒØÓ Lt ÑÓ D
½ ÔÖÓ Ø ÓÒ ×Ý Ò θi ×Ù Ø Ø F=i (θi ) = mi ´ ÓÖ Ü ÑÔÐ ¸ Ù× Ò
Ð Ò × Ö µ
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ »½
100. Ý Ð ´Ð Ò × Ö µ ½ Ò ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ×
q
p∗ A1
A2
¾¼½ Ö Ò Æ Ð× Ò ºÅ Ü ÒØ ½¼¼»½
102. ÈÖÓ Ø ÓÒ× e¹ÔÖÓ Ø ÓÒ Ò m¹ÔÖÓ Ø ÓÒ
∇(e)
= ∇(½)
, ∇(m)
= ∇(−½)
e¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × m¹ Ø Ò Ñ Ò Ñ Þ × Ø
m¹ Ú Ö Ò ÃÄ( Õ : p)º
m¹ÔÖÓ Ø ÓÒ q × ÙÒ ÕÙ M ⊆ S × e¹ Ø Ò Ñ Ò Ñ Þ × Ø
e¹ Ú Ö Ò ÃÄ(p : Õ )º
ÃÄ Ò Ö Ú Ö× ÃÄ Ö α¹ Ú Ö Ò × ÓÖ α = ±½ººº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¾»½
103. ÅÄ × Ñ Ò ÃÄ ÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(x) = ½
n i δ(x − xi )º
pe × ×ÓÐÙØ ÐÝ ÓÒØ ÒÙÓÙ× Û Ø Ö ×Ô Ø ØÓ pθ(x)
Ñ ÒÃÄ(pe(x) : pθ(x)) = pe(x) ÐÓ pe(x) x − pe(x) ÐÓ pθ(x) x
= Ñ Ò−H(pe) − Epe [ÐÓ pθ(x)]
≡ Ñ Ü
½
n
δ(x − xi ) ÐÓ pθ(x)
= Ñ Ü
½
n
i
ÐÓ pθ(xi ) = ÅÄ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼¿»½
104. ÄÓ ¹Ð Ð ÓÓ ÙÒ Ø ÓÒ
l(θ; X) =
½
n
n
i=½
ÐÓ p(xi |θ) = ÐÓ p(x|θ) pe
ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ pe(X) = ½
n
n
i=½ δ(X − X(i))
ÅÄ m¹ÔÖÓ Ø ÓÒ ÖÓÑ pe ØÓ Ø ÑÓ Ð ×Ù Ñ Ò ÓÐ
P
{Pθ = p(x|θ)}θ
ˆP(η = ˆη = 1
n i t(xi))
observed point
Space of probability distributions
m-projection
pe
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
105. Æ ×Ø Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
P(θ) Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ò ×Ø × Ü ×ÓÑ Ô Ö Ñ Ø Ö× θ = (θ Ü , θÚ Ö Ð )º Ì Ò
Pθ Ü (θÚ Ö Ð ) × Ò ×Ø ÜÔÓÒ ÒØ Ð Ñ Ðݺ Ø ×ØÖ Ø × Û Ø
ÙÒ ¹ÓÖ Ö ×Ý ØÓ Ò Ð Ð ÓÖ Ø Ñ ÐÐÝ ´Ä Ò Ö µ
ÙÖÚ × C(γ) ⊆ P(θ) Ñ Ò P(θ)º Ü ÑÔÐ
{N(μ, μ¾) | μ ∈ R} × Ñ ÒØÓ {N(μ, σ¾)}º
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
106. ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒØÖÓÔÝ H(θ) = −Eθ[ÐÓ p(x|θ)] = F(θ) − θ, ∇F(θ) = −F∗(η) ´Û Ò
k(x) = ¼¸ ÓØ ÖÛ × −E[k(x)]µº
D(p(ˆη) : p(γ)) = −H(ˆη) −
½
n
ÐÓ L(γ)
Ñ Ü
γ
L(γ) ≡ Ñ Ò
γ
D(p(ˆη) : p(γ))
ˆγ × Ø m¹ÔÖÓ Ø ÓÒ Ó Ø Ó × ÖÚ Ø ÓÒ ÔÓ ÒØ ´Û Ø η¹ ÓÓÖ Ò Ø ˆηµ
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
107. ÁÐÐÙ×ØÖ Ø ÓÒ ÅÄ ÓÖ ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×
observed point
(ˆη = 1
n
n
i=1 t(xi))
MLE
curved exponential family
ˆγ = minγ KL(p(ˆη) : p(γ))
m-projection
Fisher
orthogonal
Ò ÓÖÑ Ø ÓÒ ÐÓ×׸ ×Ø Ø ×Ø Ð ÙÖÚ ØÙÖ º
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
108. Ë ÑÔÐ Ý Ò Ñ ÜØÙÖ ÑÓ Ð ÒØÓ × Ò Ð ÓÑÔÓÒ ÒØ
m¹ÔÖÓ Ø ÓÒ Ó Ø Ñ ÜØÙÖ ÑÓ Ð m ÓÒØÓ Ø e¹ Ø ´ ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ Ò ÓÐ µ ×Ø × Ò Ð ×ØÖ ÙØ ÓÒ Ø Ø ÔÔÖÓÜ Ñ Ø × Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ
Ñ ÜØÙÖ × ÓÙÒ Ý Ø Ò Ø ÒØ Ö Ó Ñ ×× Ó Ø ÑÓÑ ÒØ Ô Ö Ñ Ø Ö×
¯η = i wi ηi º
m = i wipF (x|θi)
p∗
= pF (x|θ∗
)
p = pF (x|θ)
e-flat MF
P p∗
= arg min KL(m : p)
KL(m : p) = KL(p∗
: p) + KL(m : p∗
)
m-geodesic
e-geodesic
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
109. ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò Ò × Ö Ò ÓÖÑ Ø ÓÒ
ÃÄ(θ + Δθ : θ) ≈
½
¾
θ I(θ)θ
ººº ×ÕÙ Ö Å Ð ÒÓ × Ò Ù ÐÓ ÐÐÝ Ý Ð ×ÕÙ Ö Å Ð ÒÓ × ×Ø Ò
ÓÖ Ø × Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Üº
gij (θ¼) =
∂¾
∂θi ∂θj
θ=θ¼
ÃÄ(P(θ) P(θ¼))
Ì × ÓÐ × ÓÖ f ¹ Ú Ö Ò × p(x)f (q(x)
p(x)) ν(x) ´Ø Ø Ò ÐÙ ×
ÃÙÐÐ ¹Ä Ð Ö Ú Ö Ò µ Ú Ö Ò Ò Ù Ò Ñ ØÖ ÔÖÓÔÓÖØ ÓÒ Ð ØÓ
× Ö Ò ÓÖÑ Ø ÓÒ ´È ÖØ ÁÁµº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½¼ »½
110. Ø Ú Ë ÒÒÓÒ»Ê ÒÝ Ú Ö×Ù× ÒÓÒ¹ Ø Ú Ì× ÐÐ × ÒØÖÓÔ ×
Ø Ú ´Ë ÒÒÓÒ¹Ê ÒÝ µ
H(P × Q) = H(P) + H(Q)
ÒÓÒ¹ Ø Ú ´Ì× ÐÐ ×µ Tq(X) = ½
q−½(½ − i pq
i )
Tq(X × Y ) = Tq(X) + Tq(Y ) + (½ − q)Tq(X)Tq(Y )
ÓØ Ò ÙÒ Û Ø Ë ÖÑ ¹Å ØØ Ð ¿ ¾¹Ô Ö Ñ Ø Ö Ñ ÐÝ Ó
ÒØÖÓÔ ×
Ë ÖÑ ¹Å ØØ Ð ÒØÖÓÔ ×¸ ÖÓ××¹ ÒØÖÓÔ × Ò Ö Ð Ø Ú ÒØÖÓÔ × Ö ÒÓÛÒ
Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¼»½
111. È ÖØ Á ËÙÑÑ ÖÝ
× Ö Ò ÓÖÑ Ø ÓÒ ´ Ö Ñ Ö¹Ê Ó ÐÓÛ Ö ÓÙÒ µ ² ×Ù Ò Ý ´½ ¾¾µ
Ö ÒØ Ð ÓÑ ØÖÝ Ó ÔÓÔÙÐ Ø ÓÒ ×Ô ×
× Ö¹Ê Ó ÓÑ ØÖÝ ´ÀÓØ ÐÐ Ò ¸ ½ ¿¼µ g(θ) = I(θ)
Ù ÐÐݹ ÓÙÔÐ ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ ´½ ¼³×¹½ ¼³×¸ Ò ÓÚ¸ Ñ Ö ¸
ÃÙÖÓ× µ (M, g, ∇(α)
, ∇(−α)
)¸ ÓÖ (M, g, T)
Ù ÐÐݹ Ø Ñ Ò ÓÐ ÖÓÑ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ F Ò ÒÓÒ Ð Ú Ö Ò
´ Ö Ñ Ò Ú Ö Ò µº
Ü Ù×Ø Ú ØÝ Ö Ñ Ò Ú Ö Ò × ÒÓÒ Ð Ú Ö Ò × Ò Ù ÐÐÝ Ø
×Ô ×
Å Ü ÑÙÑ ÒØÖÓÔÝ ÔÖ Ò ÔÐ ´Ë ÒÒÓÒ ÒØÖÓÔÝ ² ÜÔÓÒ ÒØ Ð Ñ Ð ×µ
ÁÒ ÓÖÑ Ø ÓÒ¹ ÓÑ ØÖ ÔÖÓ Ø ÓÒ× ÅÄ ÖÓÑ ÑÔ Ö Ð ×ØÖ ÙØ ÓÒ¸
ÅÄ Ò ÙÖÚ ÜÔÓÒ ÒØ Ð Ñ Ð ×¸ Ò Ò Ñ ÜØÙÖ × ÑÔÐ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½½»½
112. È ÖØ ÁÁ Ð ÓÖØ Ñ× ² ËÔÓ ×Ô Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÁÒ ÓÖÑ Ø ÓÒ ÔÖÓ Ø ÓÒ ½½¾»½
113. Ö ×ØÓÖ Ð Ö Ú Û Ó ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ µ
Ì Ö Ö × Ö Ô Ö Ó ×
½º ÓÑ ØÖ Ð ÓÖ Ø Ñ×
ÎÓÖÓÒÓ » Ð ÙÒ Ý¸ Ñ Ò ÑÙÑ ×Ô ÒÒ Ò ØÖ ×¸ Ø ¹×ØÖÙ ØÙÖ × ÓÖ ÔÖÓÜ Ñ ØÝ
ÕÙ Ö ×
¾º ÓÑ ØÖ ÓÑÔÙØ Ò
ÖÓ Ù×ØÒ ×׸ Ð Ö Ö Ó ÔÖ Ø ×¸ ÔÖÓ Ö Ñ× Ø Ø ÛÓÖ »× Ð
¿º ÓÑÔÙØ Ø ÓÒ Ð ØÓÔÓÐÓ Ý ´ ÐÓ Ð ÓÑ ØÖݵ
× ÑÔÐ Ð ÓÑÔÐ Ü ×¸ ÐØÖ Ø ÓÒ׸ ÒÔÙØ ×Ø Ò Ñ ØÖ Ü
→ Ô Ö Ñ Ó ÌÓÔÓÐÓ Ð Ø Ò ÐÝ× × ´Ì µ
Ë ÓÛ × Ò Ð Ö Ö × ÓÖ ×Ó ØÛ Ö
Ä ØØÔ »»ÛÛÛº кÓÖ »
ÓÑ ØÖÝ ØÓÖÝ ØØÔ »» ÓÑ ØÖÝ ØÓÖݺ ÓÑ»
Ù ØØÔ× »»ÔÖÓ Øº ÒÖ º Ö» Ù »
Ý × ØØÔ »»ÛÛÛº Ý × º ÓÑ»
¾¼½ Ö Ò Æ Ð× Ò º ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ À ×ØÓÖÝ ½½¿»½
114. × × Ó Ù Ð ÒÓÑÔÙØ ØÓÒ Ð ÓÑ ØÖÝÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐ ÙÒ Ý ÓÑÔÐ Ü ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
115. Ù Ð Ò ´ÓÖ Ò Öݵ ÎÓÖÓÒÓ Ö Ñ×
P = {P½, ..., Pn} n ×Ø Ò Ø ÔÓ ÒØ Ò Ö ØÓÖ× Ò Ù Ð Ò ×Ô Ed
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i}
ÎÓÖÓÒÓ Ö Ñ = ÐÐ ÓÑÔÐ Ü V (Pi )³× Û Ø Ø Ö ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
116. ÎÓÖÓÒÓ Ö Ñ× ÖÓÑ × ØÓÖ× Ò ∩ Ð ×Ô ×
× ØÓÖ×
(P, Q) = {X : DE (P, X) = DE (Q, X)}
→ Ö ÝÔ ÖÔÐ Ò × Ò Ù Ð Ò ÓÑ ØÖÝ
ÎÓÖÓÒÓ ÐÐ× × Ð ×Ô ÒØ Ö× Ø ÓÒ×
V (Pi ) = {X : DE (Pi , X) ≤ DE (Pj , X), ∀j = i} = ∩n
i=½
+
(Pi , Pj )
DE (P, Q) = θ(P) − θ(Q) ¾ = d
i=½(θi (P) − θi (Q))¾
θ(P) = p ÖØ × Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ Û Ø θj (Pi ) = p
(j)
i º
⇒ Å ÒÝ ÔÔÐ Ø ÓÒ× Ó ÎÓÖÓÒÓ Ö Ñ× ÖÝ×Ø Ð ÖÓÛØ ¸
Ó ÓÓ »ÕÙ ÒØ Þ Ø ÓÒ¸ ÑÓÐ ÙÐ ÒØ Ö ×» Ó Ò ¸ ÑÓØ ÓÒ ÔÐ ÒÒ Ò ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
117. ÎÓÖÓÒÓ Ö Ñ× Ò Ù Ð Ð ÙÒ Ý × ÑÔÐ Ð ÓÑÔÐ Ü
ÑÔØÝ ×Ô Ö ÔÖÓÔ ÖØݸ Ñ Ü Ñ Ò Ò Ð ØÖ Ò ÙÐ Ø ÓÒ¸ Ø
ÎÓÖÓÒÓ ² Ù Ð Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
→ ÒÓÒ¹ Ò Ö Ø ÔÓ ÒØ × Ø ÒÓ (d + ¾) ÔÓ ÒØ× Ó¹×Ô Ö Ð
Ù Ð ØÝ ÎÓÖÓÒÓ k¹ ⇔ Ð ÙÒ Ý (d − k)¹× ÑÔÐ Ü
× ØÓÖ (P, Q) Ô ÖÔ Ò ÙÐ Ö ⊥ ØÓ × Ñ ÒØ [PQ]
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
118. ÎÓÖÓÒÓ ² Ð ÙÒ Ý ÓÑÔÐ Ü ØÝ Ò Ð ÓÖ Ø Ñ×
ÓÑ Ò ØÓÖ Ð ÓÑÔÐ Ü ØÝ Θ(n
d
¾ ) ´→ ÕÙ Ö Ø Ò ¿ µ
Ñ Ø ÓÖ ÔÓ ÒØ× ÓÒ Ø ÑÓÑ ÒØ ÙÖÚ t → (t, t¾, .., td )
ÓÒ×ØÖÙ Ø ÓÒ Θ(n ÐÓ n + n
d
¾ )¸ ÓÔØ Ñ Ð
×ÓÑ ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ× Ùغºº
Ω(n ÐÓ n + f )¸ ÒÓØ Ý Ø ÓÔØ Ñ Ð ÓÙØÔÙØ¹× Ò× Ø Ú Ð ÓÖ Ø Ñ׺
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
119. ÈÓÔÙÐ Ø ÓÒ ×Ô × ÀÓØ ÐÐ Ò ´½ ¿¼µ ½ ² Ê Ó ´½ µ
ÖØ Ó Ö ÒØ Ð¹ ÓÑ ØÖ Ñ Ø Ó × Ò ×Ø Ø ×Ø ×º
× Ö Ò ÓÖÑ Ø ÓÒ Ñ ØÖ Ü ´ÒÓÒ¹ Ò Ö Ø ÔÓ× Ø Ú Ò Ø µ Ò Ù×
× ´×ÑÓÓØ µ Ê Ñ ÒÒ Ò Ñ ØÖ Ø Ò×ÓÖ gº
×Ø Ò ØÛ Ò ØÛÓ ÔÓÔÙÐ Ø ÓÒ× Ò Ü Ý θ½ Ò θ¾ Ê Ñ ÒÒ Ò
×Ø Ò ´Ñ ØÖ Ð Ò Ø µ
Ö×Ø ÔÔÐ Ø ÓÒ× Ò ×Ø Ø ×Ø ×
× Ö¹ÀÓØ ÐÐ Ò ¹Ê Ó ´ Àʵ Ó × ×Ø Ò Ù× Ò Ð ×× Ø ÓÒ
Ò Ø ÐÓ× ×Ø ÔÓÔÙÐ Ø ÓÒ ØÓ Ú Ò × Ø Ó ÔÓÔÙÐ Ø ÓÒ×
Í× Ò Ø ×Ø× Ó × Ò Ò ´ÒÙÐÐ Ú Ö×Ù× ÐØ ÖÒ Ø Ú ÝÔÓØ × ×µ¸ ÔÓÛ Ö
Ó Ø ×Ø P(Ö Ø H¼|H¼ × Ð× )
→ Ò ×ÙÖ × Ò ÔÓÔÙÐ Ø ÓÒ ×Ô ×
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½½ »½
120. Ê Ó³× ×Ø Ò ´½ ¸ ÒØÖÓ Ù Ý ÀÓØ ÐÐ Ò ½ ¿¼ ½ µ
ÁÒ Ò Ø × Ñ Ð ×ÕÙ Ö Ð Ò Ø Ð Ñ ÒØ
s¾ =
i,j
gij (θ) θi θj = θT
I(θ) θ
Ó × Ò ×Ø Ò Ö Ö ØÓ ÜÔÐ ØÐÝ Ð ÙÐ Ø
ρ(p(x; θ½), p(x; θ¾)) = Ñ Ò
θ(s)
θ(¼)=θ½
θ(½)=θ¾
½
¼
θ
s
T
I(θ)
θ
s
s
Ê Ó³× ×Ø Ò ÒÓØ ÒÓÛÒ Ò ÐÓ× ¹ ÓÖÑ ÓÖ ÑÙÐØ Ú Ö Ø ÒÓÖÑ Ð×
Ú ÒØ × Å ØÖ ÔÖÓÔ ÖØÝ Ó ρ · Ñ ÒÝ ØÓÓÐ× Ó Ö ÒØ Ð
ÓÑ ØÖÝ ¿ Ê Ñ ÒÒ Ò ÄÓ » ÜÔ Ø Ò ÒØ»Ñ Ò ÓÐ Ñ ÔÔ Ò
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ½¾¼»½
121. ÜØÖ Ò× ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ÓÒ Ø Ò ÒØ ÔÐ Ò ×
Ì Ò×ÓÖ g = Q(x) ¼ Ò × ×ÑÓÓØ ÒÒ Ö ÔÖÓ Ù Ø
p, q x = (p − q) Q(x)(p − q) Ø Ø Ò Ù × ÒÓÖÑ ×Ø Ò
dx (p, q) = p − q x = (p − q) Q(x)(p − q)
Å Ð ÒÓ × Ñ ØÖ ×Ø Ò ÓÒ Ø Ò ÒØ ÔÐ Ò ×
ΔΣ(X½, X¾) = (μ½ − μ¾) Σ−½(μ½ − μ¾) = Δμ Σ−½Δμ
ÓÐ × Ý ÓÑÔÓ× Ø ÓÒ Σ = LL
Δ(X½, X¾) = DE (L−½μ½, L−½μ¾)
ÓÒ Ø Ò ÒØ ÔÐ Ò × ÓÖ Ò ÖÝ ÓÒ ØÖ Ò× ÓÖÑ ÔÓ ÒØ× x ← L−½xº
ÜØÖ Ò× Ú× ÒØÖ Ò× Ñ Ò× ½½
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾½»½
122. Å Ð ÒÓ × ÎÓÖÓÒÓ Ö Ñ× ÓÒ Ø Ò ÒØ ÔÐ Ò × ´ ÜØÖ Ò× µ
ÁÒ ×Ø Ø ×Ø ×¸ ÓÚ Ö Ò Ñ ØÖ Ü Σ ÓÙÒØ ÓÖ ÓØ ÓÖÖ Ð Ø ÓÒ Ò Ñ Ò× ÓÒ
´ ØÙÖ µ × Ð Ò
⇔
Ù Ð ×ØÖÙ ØÙÖ ≡ Ò ×ÓØÖÓÔ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
⇒ ÑÔØÝ Ö ÙÑ ÐÐ Ô× ÔÖÓÔ ÖØÝ ´ ÓÐ × Ý ÓÑÔÓ× Ø ÓÒµ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¾»½
123. Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × Ó Ó ÕÙ Ú Ð ÒØ ÑÓ Ð×
Å ÒÝ ÕÙ Ú Ð ÒØ ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒ × Ò Û Ò Ñ ×ÙÖ Ò Ð ×µ Ú Ö×Ù×
ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÑÔÙØ Ø ÓÒ ÐÐݹ Ö Ò ÐÝ ÓÖ Ó × ×µ ÑÓ Ð׺
ÓÒÚ ÖØ ÕÙ Ú Ð ÒØÐÝ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö
× ¸ ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾¿»½
124. Ê Ñ ÒÒ Ò ÈÓ Ò Ö × Ñ ØÖ Ø Ò×ÓÖ ´ ÓÒ ÓÖÑ Ðµ
→ Ó Ø Ò Ù× Ò ÀÙÑ Ò ÓÑÔÙØ Ö ÁÒØ Ö ×¸ Ò ØÛÓÖ ÖÓÙØ Ò ´ Ñ Ò
ØÖ ×µ¸ Ø º
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½
125. Ê Ñ ÒÒ Ò ÃÐ Ò × Ñ ØÖ Ø Ò×ÓÖ ´ÒÓÒ¹ ÓÒ ÓÖÑ Ðµ
Ö ÓÑÑ Ò ÓÖ ÓÑÔÙØ Ò ×Ô × Ò Ó × × Ö ×ØÖ Ø Ð Ò
× Ñ ÒØ×
ÃÐ Ò × Ð×Ó ÓÒ ÓÖÑ Ð Ø Ø ÓÖ Ò ´×Ó Û Ò Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ
ÖÓÑ Ò ØÓ Ø ÓÖ Òµ
Ó × × Ô ×× Ò Ø ÖÓÙ O Ò Ø ÈÓ Ò Ö × Ö ×ØÖ Ø ´×Ó Û Ò
Ô Ö ÓÖÑ ØÖ Ò×Ð Ø ÓÒ ÖÓÑ Ò ØÓ Ø ÓÖ Òµ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½
126. ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× ¿ ¸ ¼
ÁÒ Ö ØÖ ÖÝ Ñ Ò× ÓÒ¸ Hd
ÁÒ ÃÐ Ò × ¸ Ø ÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ ÑÓÙÒØ× ØÓ Ð ÔÔ
Ò ÎÓÖÓÒÓ Ö Ñ¸ ÓÖ Ð ÔÔ ÔÓÛ Ö Ö Ñ Û Ø ÒØ
Ð ÔÔ Ò Ð ÓÖ Ø Ñ º
Ø Ò ÓÒÚ ÖØ ØÓ ÓØ Ö ÑÓ Ð× Ó ÝÔ Ö ÓÐ ÓÑ ØÖÝ ÈÓ Ò Ö × ¸
ÙÔÔ Ö Ð ×Ô ¸ ÝÔ Ö ÓÐÓ ¸ ÐØÖ Ñ Ñ ×Ô Ö ¸ Ø º
ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ Ú ×Ù Ð Þ Ø ÓÒµ Ú Ö×Ù× ÒÓÒ¹ ÓÒ ÓÖÑ Ð ´ ÓÓ ÓÖ
ÓÑÔÙØ Ò µ ÑÓ Ð׺
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½
127. ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× ¿ ¸ ¼
ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ Ò ÃÐ Ò × Ð ÔÔ ÔÓÛ Ö Ö Ñº
ÈÓÛ Ö ×Ø Ò
x − p ¾ − wp
→ Ø Ú ÐÝ Û Ø ÓÖ Ò ÖÝ ÎÓÖÓÒÓ ÓÖ Ò ÖÝ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½
128. ÀÝÔ Ö ÓÐ ÎÓÖÓÒÓ Ö Ñ× ¿ ¸ ¼
ÓÑÑÓÒ ÑÓ Ð× Ó Ø ×ØÖ Ø ÝÔ Ö ÓÐ ÓÑ ØÖÝ
ØØÔ× »»ÛÛÛºÝÓÙØÙ º ÓÑ»Û Ø Ú ÁÍÞÆÜ À Ó ´ Ñ Òº Ú Óµ
Å ËÝÑÔÓ× ÙÑ ÓÒ ÓÑÔÙØ Ø ÓÒ Ð ÓÑ ØÖÝ ´ËÓ ³½ µ
¾¼½ Ö Ò Æ Ð× Ò ºÇÖ Ò ÖÝ ¹½ºÅ Ð ÒÓ × ½¾ »½
129. ÎÓÖÓÒÓ Ö Ñ× Ò Ù ÐÐÝÒ Ò ÓÖÑ ØÓÒ ÓÑ ØÖÝ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¾ »½
130. Ù ÐÐÝ Ø ×Ô ÓÒ×ØÖÙ Ø ÓÒ ÖÓÑ ÓÒÚ Ü ÙÒ Ø ÓÒ× F
ÓÒÚ Ü Ò ×ØÖ ØÐÝ Ö ÒØ Ð ÙÒ Ø ÓÒ F(θ) Ñ Ø×
Ä Ò Ö ¹ Ò Ð ÓÒÚ Ü ÓÒ Ù Ø F∗(η)
F∗
(η) = ×ÙÔ
θ
(θ η − F(θ)), ∇F(θ) = η = (∇F∗
)−½(θ)
ÓÙÒ ³× Ò ÕÙ Ð ØÝ Ú × Ö × ØÓ ÒÓÒ Ð Ú Ö Ò ½
F(θ) + F∗
(η ) ≥ θ η ⇒ AF,F∗ (θ, η ) = F(θ) + F∗
(η ) − θ η
ÏÖ Ø Ò Ù× Ò × Ò Ð ÓÓÖ Ò Ø ×Ý×Ø Ñ¸ Ø Ù Ð Ö Ñ Ò
Ú Ö Ò ×
BF (θp : θq) = F(θp) − F(θq) − (θp − θq) ∇F(θq)
= BF∗ (ηq : ηp) = AF,F∗(θp, ηq) = AF∗,F (ηq : θp)
Ù Ð Ò ÓÓÖ Ò Ø ×Ý×Ø Ñ× Û Ø Ó × × ×ØÖ Ø
η = ∇F(θ) ⇔ θ = ∇F∗(η)º Ì Ò×ÓÖ g(θ) = g∗
(η)
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ½¿¼»½
131. Ù Ð Ú Ö Ò » Ö Ñ Ò Ù Ð × ØÓÖ× ¸ ¿¾¸ ¿
Ö Ñ Ò × ´Ö Ö Ò µ × ØÓÖ× Ö Ð Ø Ý ÓÒÚ Ü Ù Ð ØÝ
F (θ½, θ¾) = {θ ∈ Θ |BF (θ : θ½) = BF (θ : θ½)}
F∗ (η½, η¾) = {η ∈ H |BF∗ (η : η½) = BF∗ (η : η½)}
Ê Ø¹× × ØÓÖ → θ¹ ÝÔ ÖÔÐ Ò ¸ η¹ ÝÔ Ö×ÙÖ
HF (p, q) = {x ∈ X | BF (x : p ) = BF (x : q )}.
HF : ∇F(p) − ∇F(q), x + (F(p) − F(q) + q, ∇F(q) − p, ∇F(p) ) = ¼
Ä Ø¹× × ØÓÖ → θ¹ ÝÔ Ö×ÙÖ ¸ η¹ ÝÔ ÖÔÐ Ò
HF (p, q) = {x ∈ X | BF ( p : x) = BF ( q : x)}
HF : ∇F(x), q − p + F(p) − F(q) = ¼
ÝÔ ÖÔÐ Ò ÙØÓÔ Ö ÐÐ Ð ×Ù Ñ Ò ÓÐ Ó Ñ Ò× ÓÒ d − ½
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿½»½
132. Î ×Ù Ð Þ Ò Ö Ñ Ò × ØÓÖ× Ò θ¹ Ò η¹ ÓÓÖ Ò Ø
×Ý×Ø Ñ×
ÈÖ Ñ Ð ÓÓÖ Ò Ø × θ Ù Ð ÓÓÖ Ò Ø × η
Ò ØÙÖ Ð Ô Ö Ñ Ø Ö× ÜÔ Ø Ø ÓÒ Ô Ö Ñ Ø Ö×
p
q
Source Space: Itakura-Saito
p(0.52977081,0.72041688) q(0.85824458,0.29083834)
D(p,q)=0.66969016 D(q,p)=0.44835617
p’
q’
Gradient Space: Itakura-Saito dual
p’(-1.88760873,-1.38808518) q’(-1.16516903,-3.43833618)
D*(p’,q’)=0.44835617 D*(q’,p’)=0.66969016
(P, Q) Ò ∗
(P, Q) Ò ÜÔÖ ×× Ò Ø Ö θ/η ÓÓÖ Ò Ø ×Ý×Ø Ñ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹½º × ØÓÖ ½¿¾»½
133. ËÔ × Ó ×Ô Ö × ½¹ØÓ¹½
Ñ ÔÔÒ ØÛ Ò d¹×Ô Ö ×Ò (d + ½)¹ ÝÔ ÖÔÐ Ò × Ù×ÒÔÓØ ÒØ Ð ÙÒ ØÓÒ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿¿»½
134. ËÔ Ó Ö Ñ Ò ×Ô Ö × Ò Ö Ñ Ò ÐÐ×
Ù Ð × Ö Ñ Ò ÐÐ× ´ ÓÙÒ Ò Ö Ñ Ò ×Ô Ö ×µ
ÐÐr
F (c, r) = {x ∈ X | BF (x : c) ≤ r}
ÐÐl
F (c, r) = {x ∈ X | BF (c : x) ≤ r}
Ä Ò Ö Ù Ð ØÝ
ÐÐl
F (c, r) = (∇F)−½( ÐÐr
F∗ (∇F(c), r))
ÁÐÐÙ×ØÖ Ø ÓÒ ÓÖ ÁØ ÙÖ ¹Ë ØÓ Ú Ö Ò ¸ F(x) = − ÐÓ x
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
135. Ò Ö Ð Þ Ð Û Ó Ó× Ò × Ò Ò Ö Ð Þ ÈÝØ ÓÖ ×³
Ø ÓÖ Ñ
Ò Ö Ð Þ Ð Û Ó Ó× Ò × θ Ò Ð Ñ Ø Q Ý Ø ∇¹ Ó × γPQ
Û Ø Ø ∇∗¹ Ó × γ∗
QR
D(P : R) = D(P : Q) + D(Q : R) − ˙γPQ ˙γ∗
QR Ó×(θ)
θP −θQ ,ηR −ηQ
Ù Ð Ò Ð Û Ó Ó× Ò × Û Ò D = BF ÓÖ F = ½
¾x x
−→
PR ¾ =
−→
PQ ¾ +
−→
QR ¾ − ¾
−→
PQ
−→
QR Ó× θ
Ò Ö Ð Þ ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ Û Ò θ = π
¾
D(P : R) = D(P : Q) + D(Q : R)
ÑÓÙÒØ ØÓ Ø Ø Ó×θ = ¼¸ Ø Ø × θP − θQ, ηR − ηQ = ¼
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
136. ËÔ Ó Ö Ñ Ò ×Ô Ö × Ä Ø Ò Ñ Ô
F : x → ˆx = (x, F(x))¸ ÝÔ Ö×ÙÖ Ò Rd+½¸ ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ
Hp Ì Ò ÒØ ÝÔ ÖÔÐ Ò Ø ˆp¸ z = Hp(x) = x − p, ∇F(p) + F(p)
Ö Ñ Ò ×Ô Ö σ −→ ˆσ Û Ø ×ÙÔÔÓÖØ Ò ÝÔ ÖÔÐ Ò
Hσ : z = x − c, ∇F(c) + F(c) + rº
´»» ØÓ Hc Ò × Ø Ú ÖØ ÐÐÝ Ý rµ
ˆσ = F ∩ Hσº
ÒØ Ö× Ø ÓÒ Ó ÒÝ ÝÔ ÖÔÐ Ò H Û Ø F ÔÖÓ Ø× ÓÒØÓ X × Ö Ñ Ò
×Ô Ö
H : z = x, a + b → σ : ÐÐF (c = (∇F)−½(a), r = a, c − F(c) + b)
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
137. Ä Ø Ò »ÈÓÐ Ö ØÝ ÈÓØ ÒØ Ð ÙÒ Ø ÓÒ Ö Ô F
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
138. ËÔ Ó Ö Ñ Ò ×Ô Ö × Ð ÓÖ Ø Ñ ÔÔÐ Ø ÓÒ×
Î ÔÒ ¹ ÖÚÓÒ Ò × Ñ Ò× ÓÒ ´Î ¹ ѵ × d + ½ ÓÖ Ø Ð ×× Ó
Ö Ñ Ò ÐÐ׺
ÍÒ ÓÒ» ÒØ Ö× Ø ÓÒ Ó Ö Ñ Ò d¹×Ô Ö × ÖÓÑ Ö ÔÖ × ÒØ Ø ÓÒ Ð
(d + ½)¹ÔÓÐÝØÓÔ
Ê Ð Ü × Ó ØÛÓ Ö Ñ Ò ÐÐ× × Ò ÝÔ ÖÔÐ Ò ÔÔÐ Ø ÓÒ× ØÓ
Æ Ö ×Ø Æ ÓÖ × Ö ØÖ × Ð Ö Ñ Ò ÐÐ ØÖ × ÓÖ Ö Ñ Ò
Ú ÒØ ÔÓ ÒØ ØÖ × ¿ º
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
139. Ö Ñ Ò ÔÖÓÜ Ñ ØÝ Ø ×ØÖÙ ØÙÖ × ¿
Î ÒØ ÔÓ ÒØ ØÖ × Ô ÖØ Ø ÓÒ ×Ô ÓÖ Ò ØÓ Ö Ñ Ò ÐÐ×
È ÖØ Ø ÓÒÒ Ò ×Ô Û Ø ÒØ Ö× Ø ÓÒ Ó ÃÙÐÐ ¹Ä Ð Ö ÐÐ×
→ ÒØ Ò Ö ×Ø Ò ÓÙÖ ÕÙ Ö × Ò Ò ÓÖÑ Ø ÓÒ ×Ô ×
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½¿ »½
140. ÔÔÐ Ø ÓÒ Å Ò ÑÙÑ Ò ÐÓ× Ò ÐÐ ¿¼¸
ÌÓ ÝÔ ÖÔÐ Ò Hσ = H(a, b) : z = a, x + b Ò Rd+½¸ ÓÖÖ ×ÔÓÒ × ÐÐ
σ = ÐÐ(c, r) Ò Rd Û Ø ÒØ Ö c = ∇F∗(a) Ò Ö Ù×
r = a, c − F(c) + b = a, ∇F∗
(a) − F(∇F∗
(a)) + b = F∗
(a) + b
× Ò F(∇F∗(a)) = ∇F∗(a), a − F∗(a) ´ ÓÙÒ ÕÙ Ð Øݵ
Ë Ò Ð ×Ô H(a, b)− : z ≤ a, x + b Ø Ø ÓÒØ Ò× ÐÐ Ð Ø ÔÓ ÒØ×
Ñ Ò
a,b
r = F∗
(a) + b,
∀i ∈ {½, ..., n}, a, xi + b − F(xi ) ≥ ¼
→ ÓÒÚ Ü ÈÖÓ Ö Ñ ´ ȵ Û Ø Ð Ò Ö Ò ÕÙ Ð ØÝ ÓÒ×ØÖ ÒØ×
F(θ) = F∗(η) = ½
¾x x È → ÉÙ Ö Ø ÈÖÓ Ö ÑÑ Ò ´Éȵ ½ Ù× Ò
ËÎź ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ù× × ÔÖ Ñ Ø Ú Ò ËÎÅ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¼»½
141. ËÑ ÐÐ ×Ø Ö Ñ Ò Ò ÐÓ× Ò ÐÐ× ¸ ¾
Ð ÓÖ Ø Ñ ½ (P, l)º
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l − ½ Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci ÛÖغ BF
si ← Ö Ñ Ün
j=½BF (ci : pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø η¹× Ñ ÒØ [ci , psi
]η
ci+½ ← ∇F−½(∇F(ci )# ½
i+½
∇F(psi
))
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = BF (cl : X))
θ¹¸ η¹ Ó × × Ñ ÒØ× Ò Ù ÐÐÝ Ø ÓÑ ØÖݺ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ½»½
142. ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ× ÓÖ ¹× Ø×
ÓÖ ¹× Ø C ⊆ S ËÇÄ(S) ≤ ËÇÄ(C) ≤ (½ + )ËÇÄ(S)
ÜØ Ò ÃÙÐÐ ¹Ä Ð Ö ÁØ ÙÖ ¹Ë ØÓ
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¾»½
143. ÁÒËÔ Ö ÔÖ Ø × ÛÖØ Ö Ñ Ò Ú Ö Ò ×
ÁÑÔÐ Ø Ö ÔÖ × ÒØ Ø ÓÒ Ó Ö Ñ Ò ×Ô Ö ×» ÐÐ× ÓÒ× Ö d + ½ ×ÙÔÔÓÖØ
ÔÓ ÒØ× ÓÒ Ø ÓÙÒ ÖÝ
Á× x Ò× Ø Ö Ñ Ò ÐÐ Ò Ý d + ½ ×ÙÔÔÓÖØ ÔÓ ÒØ×
ÁÒËÔ Ö (x; p¼, ..., pd ) =
½ ... ½ ½
p¼ ... pd x
F(p¼) ... F(pd ) F(x)
× Ò Ó (d + ¾) × (d + ¾) Ñ ØÖ Ü Ø ÖÑ Ò ÒØ
ÁÒËÔ Ö (x; p¼, ..., pd ) × Ò Ø Ú ¸ ÒÙÐÐ ÓÖ ÔÓ× Ø Ú Ô Ò Ò ÓÒ Û Ø Ö
x Ð × Ò× ¸ ÓÒ¸ ÓÖ ÓÙØ× σº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ ¿»½
144. ËÑ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò Ê Ñ ÒÒ Ò Ñ Ò ÓÐ × ¿
c = a#M
t b ÔÓ ÒØ γ(t) ÓÒ Ø Ó × Ð Ò × Ñ ÒØ [ab] ÛÖØ Å ×Ù Ø Ø
ρM(a, c) = t × ρM(a, b) ´Û Ø ρM Ø Ñ ØÖ ×Ø Ò ÓÒ Ñ Ò ÓÐ Mµ
Ð ÓÖ Ø Ñ ¾ Ó
c½ ← ÓÓ× Ö Ò ÓÑÐÝ ÔÓ ÒØ Ò P
ÓÖ i = ¾ ØÓ l Ó
»» ÖØ ×Ø ÔÓ ÒØ ÖÓÑ ci
si ← Ö Ñ Ün
j=½ρ(ci , pj )
»» ÙÔ Ø Ø ÒØ Ö Û Ð ÓÒ Ø Ó × Ð Ò × Ñ ÒØ
[ci , psi
]
ci+½ ← ci #M
½
i+½
psi
Ò
»» Ê ØÙÖÒ Ø Ë ÔÔÖÓÜ Ñ Ø ÓÒ
Ö ØÙÖÒ ÐÐ(cl , rl = ρ(cl , P))
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½
145. ÔÔÖÓÜ Ñ Ø Ò Ø ×Ñ ÐÐ ×Ø Ò ÐÓ× Ò ÐÐ Ò ÝÔ Ö ÓÐ
×Ô
ÁÒ Ø Ð Þ Ø ÓÒ Ö×Ø Ø Ö Ø ÓÒ
Ë ÓÒ Ø Ö Ø ÓÒ Ì Ö Ø Ö Ø ÓÒ
ÓÙÖØ Ø Ö Ø ÓÒ Ø Ö ½¼ Ø Ö Ø ÓÒ×
ØØÔ »»ÛÛÛº×ÓÒÝ ×к Óº Ô»Ô Ö×ÓÒ»Ò Ð× Ò» Ò Ó Ó»Ê Ñ ÒÒÅ Ò Ñ Ü»
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½
146. Ö Ñ Ò Ù Ð Ö ÙÐ Ö» Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×
Ñ Ó × Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ×· ÑÔØÝ Ö Ñ Ò ÐÐ×
Ð ÙÒ Ý ÜÔÓÒ ÒØ Ð Ðº À ÐÐ Ò Ö¹Ð Ðº
ÑÔØÝ Ö Ñ Ò ×Ô Ö ÔÖÓÔ ÖØݸ
Ó × ØÖ Ò Ð × Ñ Ð ÙÒ Ýº
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½
147. Ù ÐÐÝ ÓÖØ Ó ÓÒ Ð Ö Ñ Ò ÎÓÖÓÒÓ ² ÌÖ Ò ÙÐ Ø ÓÒ×
ÇÖ Ò ÖÝ ÎÓÖÓÒÓ Ö Ñ × Ô ÖÔ Ò ÙÐ Ö ØÓ Ð ÙÒ Ý ØÖ Ò ÙÐ Ø ÓÒ
ÎÓÖÓÒÓ k¹ ⊥ Ð ÙÒ Ý d − k¹
(P, Q) ⊥ γ∗
(P, Q)
γ(P, Q) ⊥ ∗
(P, Q)
¾¼½ Ö Ò Æ Ð× Ò º Ù ÐÐÝ Ø Á ¹¾ºËÔ Ó ×Ô Ö × ½ »½
148. ËÝÒØ Ø ÓÑ ØÖÝ Ü ØÖ Ø ÖÞ ØÓÒ Ó ØÝ × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ÙØÒÓ ÐÓ× ¹ ÓÖÑ ÒÓÛÒ
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½
149. Ý × Ò ÝÔÓØ × × Ø ×Ø Ò ¸ Å È ÖÙÐ Ò ÔÖÓ Ð ØÝ Ó
ÖÖÓÖ Pe
Å ÜØÙÖ p(x) = i wi pi (x)º Ì × Ð ×× Ý x Ï ÓÑÔÓÒ ÒØ
ÈÖ ÓÖ ÔÖÓ Ð Ø × wi = P(X ∼ Pi ) > ¼ ´Û Ø n
i=½ wi = ½µ
ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø × P(X = x|X ∼ Pi )º
P(X = x) =
n
i=½
P(X ∼ Pi )P(X = x|X ∼ Pi ) =
n
i=½
wi P(X|Pi )
×Ø ÖÙÐ Å Ü ÑÙÑ ÈÓ×Ø Ö ÓÖ ÔÖÓ Ð ØÝ ´Å ȵ ÖÙÐ
Ñ Ô(x) = Ö Ñ Üi∈{½,...,n} wi pi (x)
Û Ö pi (x) = P(X = x|X ∼ Pi ) Ö Ø ÓÒ Ø ÓÒ Ð ÔÖÓ Ð Ø ×º
ÓÖ w½ = w¾ = ½
¾¸ ÔÖÓ Ð ØÝ Ó ÖÖÓÖ
Pe = ½
¾ Ñ Ò(p½(x), p¾(x)) x ≤ ½
¾ p½(x)αp¾(x)½−α x¸ ÓÖ α ∈ (¼, ½)º
×Ø ÜÔÓÒ ÒØ α∗
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½
150. ÖÖÓÖ ÜÔÓÒ ÒØ ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × Ù Ð ØÝ ⇔
ÜÔÓÒ ÒØ Ð Ñ Ð × Ú Ò Ø Ñ Ò× ÓÒ Ð ×Ù ÒØ ×Ø Ø ×Ø × →
Ê Ù n Ø ØÓ D ×Ø Ø ×Ø ×º
∀x ∈ X, P(x|θ) = ÜÔ(θ t(x) − F(θ) + k(x))
F(·) ÐÓ ¹ÒÓÖÑ Ð Þ Ö» ÙÑÙÐ ÒØ»Ô ÖØ Ø ÓÒ ÙÒ Ø ÓÒ¸ k(x) ÙÜ Ð ÖÝ Ø ÖÑ
ÓÖ ÖÖ Ö Ñ ×ÙÖ º
Å Ü ÑÙÑ Ð Ð ÓÓ ×Ø Ñ ØÓÖ ´ÅÄ µ ∇F(ˆθ) = ½
n i t(Xi ) = ˆη
Ø ÓÒ ØÛ Ò ÜÔÓÒ ÒØ Ð Ñ Ð × Ò Ö Ñ Ò Ú Ö Ò ×
ÐÓ p(x|θ) = −BF∗ (t(x) : η) + F∗
(t(x)) + k(x)
ÜÔÓÒ ÒØ Ð Ñ Ð × Ö ÐÓ ¹ ÓÒ Ú
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¼»½
151. ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ
ÇÒ Ø ÜÔÓÒ ÒØ Ð Ñ ÐÝ Ñ Ò ÓÐ ¸ ÖÒÓ α¹ Ó ÒØ
cα(Pθ½ : Pθ¾ ) = pα
θ½
(x)p½−α
θ¾
(x) μ(x) = ÜÔ(−J
(α)
F (θ½ : θ¾))
Ë Û Â Ò× Ò Ú Ö Ò ¾ ÓÒ Ø Ò ØÙÖ Ð Ô Ö Ñ Ø Ö×
Â(α)
(θ½ : θ¾) = α (θ½) + (½− α) (θ¾) − (θ
(α)
½¾ )
ÖÒÓ Ò ÓÖÑ Ø ÓÒ Ö Ñ Ò Ú Ö Ò ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð ×
C(Pθ½ : Pθ¾ ) = B(θ½ : θ
(α∗)
½¾ ) = B(θ¾ : θ
(α∗)
½¾ )
Ò Ò ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ α∗
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ½»½
153. ÓÑ ØÖÝ Ó Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò ÖÝ ÝÔÓØ × ×
P∗
= Pθ∗
½¾
= Ge(P½, P¾) ∩ m(P½, P¾)
pθ1
pθ2
pθ∗
12
m-bisector
e-geodesic Ge(Pθ1
, Pθ2
)
η-coordinate system
Pθ∗
12
C(θ1 : θ2) = B(θ1 : θ∗
12)
Bim(Pθ1
, Pθ2
)
Ò ÖÝ ÀÝÔÓØ × × Ì ×Ø Ò Pe ÓÙÒ Ù× Ò Ö Ñ Ò Ú Ö Ò ØÛ Ò
ÖÒÓ ×ØÖ ÙØ ÓÒ Ò Ð ××¹ ÓÒ Ø ÓÒ Ð ×ØÖ ÙØ ÓÒ׺
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ ¿»½
154. ÐÙ×Ø ÖÒ Ò Ä ÖÒÒÒØ ×Ø Ø×Ø Ð ÑÜØÙÖ ×
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½
155. Ì ×ØÓÖØ ÓÒ Ð ×× Ó α¹ Ú Ö Ò ×
ÓÖ α ∈ R = ±½¸ α¹ Ú Ö Ò × ÓÒ ÔÓ× Ø Ú ÖÖ Ý× ½
Dα(p : q)
Õ
=
d
i=½
½ − α¾
½ − α
¾
pi
+
½ + α
¾
qi
− (pi
)
½−α
¾ (qi
)
½+α
¾ Û Ø
Dα(p : q) = D−α(q : p) Ò Ò Ø Ð Ñ Ø × × D−½(p : q) = ÃÄ(p : q)
Ò D½(p : q) = ÃÄ(q : p)¸ Û Ö ÃÄ × Ø ÜØ Ò ÃÙÐÐ Ä Ð Ö
Ú Ö Ò ÃÄ(p : q)
Õ
= d
i=½ pi ÐÓ pi
qi + qi − pi
α¹ Ú Ö Ò × ÐÓÒ ØÓ Ø Ð ×× Ó × ×Þ Ö f ¹ Ú Ö Ò ×
If (p : q)
Õ
= d
i=½ qi f pi
qi Û Ø Ø ÓÐÐÓÛ Ò Ò Ö ØÓÖ
f (t) =
⎧
⎨
⎩
½−α¾ ½ − t(½+α)/¾ , α = ±½,
t ÐÒt, α = ½,
− ÐÒt, α = −½
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½
156. ÈÝØ ÓÖ ×³ Ø ÓÖ Ñ ÓÖ α¹ Ú Ö Ò × ½
Í× ∇(α) Ò ∇(−α) Ù ÐÐÝ ÓÙÔÐ ÓÒÒ Ø ÓÒ× Û Ø Ö ×Ô Ø ØÓ gº
Xg(Y , Z) = g(∇
(α)
X , Z) + g(Y , ∇
(−α)
X Z)
γ
(α)
PQ ⊥ γ
(−α)
QR
Dα(P : Q) = Dα(P : Q) + Dα(Q : R) − κDα(P : Q)Dα(Q : R)
ÙÖÚ ØÙÖ κ = α¾−½º
¾¼½ Ö Ò Æ Ð× Ò º Ý × Ò ÖÖÓÖ ÜÔÓÒ ÒØ ½ »½
157. Å Ü Ú Ö Ò × ¾
Ò ÓÒ Ø Ö Ô Ö Ñ Ø Ö× p¸ q Ò r
Mλ(p : q : r)
Õ
= λD(p : q) + (½ − λ)D(q : r)
ÓÖ λ ∈ [¼, ½]º
Å Ü Ú Ö Ò × Ò ÐÙ
Ø × Ú Ö Ò × ÓÖ λ ∈ {¼, ½}¸
Ø ×ÝÑÑ ØÖ Þ ´ Ö Ø Ñ Ø Ñ Òµ Ú Ö Ò ÓÖ λ = ½
¾¸ ÓÖ × Û
×ÝÑÑ ØÖ Þ ÓÖ λ = ½
¾º
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½
158. ËÝÑÑ ØÖ Þ Ò α¹ Ú Ö Ò ×
Sα(p, q) =
½
¾
(Dα(p : q) + Dα(q : p)) = S−α(p, q),
= M½
¾
(p : q : p),
ÓÖ α = ±½¸ Û Ø Ð Ó Â Ö Ý× Ú Ö Ò
S±½(p, q) =
½
¾
d
i=½
(pi
− qi
) ÐÓ
pi
qi
ÒØÖÓ × ÓÖ ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò Ù×Ù ÐÐÝ ÒÓØ Ò ÐÓ× ÓÖѺ
ÀÓÛ ØÓ Ô Ö ÓÖÑ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Û Ø ÓÙØ ÐÓ× ÓÖÑ ÒØÖÓ ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½
159. Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ ¾¾
Â Ö Ý× Ú Ö Ò × ×ÝÑÑ ØÖ Þ α = ±½ Ú Ö Ò ×º
Ì Â Ö Ý× ÔÓ× Ø Ú ÒØÖÓ c = (c½, ..., cd ) Ó × Ø {h½, ..., hn} Ó n
Û Ø ÔÓ× Ø Ú ×ØÓ Ö Ñ× Û Ø d Ò× Ò Ð ÙÐ Ø
ÓÑÔÓÒ ÒØ¹Û × Ü ØÐÝ Ù× Ò Ø Ä Ñ ÖØ W Ò ÐÝØ ÙÒ Ø ÓÒ
ci
=
ai
W ai
gi e
Û Ö ai = n
j=½ πjhi
j ÒÓØ × Ø ÓÓÖ Ò Ø ¹Û × Ö Ø Ñ Ø Û Ø
Ñ Ò× Ò gi = n
j=½(hi
j )πj Ø ÓÓÖ Ò Ø ¹Û × ÓÑ ØÖ Û Ø
Ñ Ò׺
Ì Ä Ñ ÖØ Ò ÐÝØ ÙÒ Ø ÓÒ W ´ÔÓ× Ø Ú Ö Ò µ × Ò Ý
W (x)eW (x) = x ÓÖ x ≥ ¼º
→ Â Ö Ý× k¹Ñ Ò× ÐÙ×Ø Ö Ò º ÙØ ÓÖ α = ½¸ ÓÛ ØÓ ÐÙ×Ø Ö
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½
160. Å Ü α¹ Ú Ö Ò ×»α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò
Å Ü α¹ Ú Ö Ò ØÛ Ò ×ØÓ Ö Ñ x ØÓ ØÛÓ ×ØÓ Ö Ñ× p Ò q
Mλ,α(p : x : q) = λDα(p : x) + (½ − λ)Dα(x : q),
= λD−α(x : p) + (½ − λ)D−α(q : x),
= M½−λ,−α(q : x : p),
α¹Â Ö Ý× ×ÝÑÑ ØÖ Þ Ú Ö Ò × Ó Ø Ò ÓÖ λ = ½
¾
Sα(p, q) = M½
¾
,α(q : p : q) = M½
¾
,α(p : q : p)
× Û ×ÝÑÑ ØÖ Þ α¹ Ú Ö Ò × Ò Ý
Sλ,α(p : q) = λDα(p : q) + (½ − λ)Dα(q : p)
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¼»½
161. Å Ü Ú Ö Ò ¹ × k¹Ñ Ò× ÐÙ×Ø Ö Ò
k ×Ø Ò Ø × × ÖÓÑ Ø Ø × Ø Û Ø li = ri º
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ Ú Ö Ò D(·, ·)¸ ÒØ Ö k > ¼¸ Ö Ð
λ ∈ [¼, ½]
ÁÒ Ø Ð Þ Ð Ø¹× »Ö Ø¹× × × C = {(li , ri )}k
i=½
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ci ← {h ∈ H : i = Ö Ñ Òj Mλ(lj : h : rj )}
Ò
»» Ù Ð¹× ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← Ö Ñ Òx D(Ci : x) = h∈Ci
wj D(h : x)
li ← Ö Ñ Òx D(x : Ci ) = h∈Ci
wj D(x : h)
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ½»½
162. Å Ü α¹ Ö ÐÙ×Ø Ö Ò Å ´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k > ¼¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C = {(li , ri )}k
i=½ ← Å Ë(H, k, λ, α)
Ö Ô Ø
»» ×× ÒÑ ÒØ
ÓÖ i = ½, ¾, ..., k Ó
Ai ← {h ∈ H : i = Ö Ñ Òj Mλ,α(lj : h : rj )}
Ò
»» ÒØÖÓ Ö ÐÓ Ø ÓÒ
ÓÖ i = ½, ¾, ..., k Ó
ri ← h∈Ai
wi h
½−α
¾
¾
½−α
li ← h∈Ai
wi h
½+α
¾
¾
½+α
Ò
ÙÒØ Ð ÓÒÚ Ö Ò
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¾»½
163. ÓÙÔÐ k¹Å Ò×·· α¹Ë Ò
Ð ÓÖ Ø Ñ ¿ Å Ü α¹× Ò Å Ë´H¸ k¸ λ¸ αµ
ÁÒÔÙØ Ï Ø ×ØÓ Ö Ñ × Ø H¸ ÒØ Ö k ≥ ½¸ Ö Ð λ ∈ [¼, ½]¸ Ö Ð α ∈ R
Ä Ø C ← hj Û Ø ÙÒ ÓÖÑ ÔÖÓ Ð ØÝ
ÓÖ i = ¾, ¿, ..., k Ó
È Ø Ö Ò ÓÑ ×ØÓ Ö Ñ h ∈ H Û Ø ÔÖÓ Ð ØÝ
πH(h)
Õ
=
whMλ,α(ch : h : ch)
y∈H wy Mλ,α(cy : y : cy )
, ´ µ
»»Û Ö (ch, ch)
Õ
= Ö Ñ Ò(z,z)∈C Mλ,α(z : h : z)
C ← C ∪ {(h, h)}
Ò
ÇÙØÔÙØ Ë Ø Ó Ò Ø Ð ÐÙ×Ø Ö ÒØ Ö× C
→ Ù Ö ÒØ ÔÖÓ Ð ×Ø ÓÙÒ º ÂÙ×Ø Ò ØÓ Ò Ø Ð Þ ÆÓ ÒØÖÓ
ÓÑÔÙØ Ø ÓÒ×
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ ¿»½
164. Ä ÖÒ Ò ÅÅ× ÓÑ ØÖ Ö ÐÙ×Ø Ö Ò Ú ÛÔÓ ÒØ
Ä ÖÒ Ø Ô Ö Ñ Ø Ö× Ó Ñ ÜØÙÖ m(x) = k
i=½ wi p(x|θi )
Å Ü Ñ Þ Ø ÓÑÔÐ Ø Ø Ð Ð ÓÓ ÐÙ×Ø Ö Ò Ó Ø Ú ÙÒ Ø ÓÒ
Ñ Ü
W ,Λ
lc(W , Λ) =
n
i=½
k
j=½
zi,j ÐÓ (wj p(xi |θj ))
= Ñ Ü
Λ
n
i=½
k
Ñ Ü
j=½
ÐÓ (wj p(xi |θj ))
≡ Ñ Ò
W ,Λ
n
i=½
k
Ñ Ò
j=½
Dj (xi ) ,
Û Ö cj = (wj , θj ) ´ ÐÙ×Ø Ö ÔÖÓØÓØÝÔ µ Ò Dj (xi ) = − ÐÓ p(xi |θj ) − ÐÓ wj
Ö ÔÓØ ÒØ Ð ×Ø Ò ¹Ð ÙÒ Ø ÓÒ׺
ÙÖØ Ö ØØ ØÓ ÐÙ×Ø Ö Ö ÒØ Ñ ÐÝ Ó ÔÖÓ Ð ØÝ ×ØÖ ÙØ ÓÒ׺
¾¼½ Ö Ò Æ Ð× Ò ½¼ºÅ Ü Ú Ö Ò × ½ »½
165. Ò Ö Ð Þ k¹ÅÄ ÓÖ Ð ÖÒ Ò ×Ø Ø ×Ø Ð Ñ ÜØÙÖ ×
ÅÓ Ð¹ × ÐÙ×Ø Ö Ò ×× ÒÑ ÒØ Ó ÔÓ ÒØ× ØÓ ÐÙ×Ø Ö×
Dwj ,θj ,Fj
(x) = − ÐÓ pFj
(x; θj ) − ÐÓ wj
k¹ ÅÄ
½º ÁÒ Ø Ð Þ Û Ø W ∈ Δk Ò Ñ ÐÝ ØÝÔ (F½, ..., Fk ) ÓÖ ÐÙ×Ø Ö
¾º ËÓÐÚ Ñ ÒΛ i Ñ Òj Dj (xi ) ´ ÒØ Ö¹ × ÐÙ×Ø Ö Ò ÓÖ W Ü µ Û Ø
ÔÓØ ÒØ Ð ÙÒ Ø ÓÒ× Dj (xi ) = − ÐÓ pFj
(xi |θj ) − ÐÓ wj
¿º ËÓÐÚ Ñ ÐÝ ØÝÔ × Ñ Ü Ñ Þ Ò Ø ÅÄ Ò ÐÙ×Ø Ö Cj Ý ÓÓ× Ò
Ø Ô Ö Ñ ØÖ Ñ ÐÝ Ó ×ØÖ ÙØ ÓÒ× Fj = F(γj ) Ø Ø Ý Ð × Ø ×Ø
Ð Ð ÓÓ Ñ ÒF½=F(γ½),...,Fk=F(γk )∈F(γ) i Ñ Òj Dwj ,θj ,Fj
(xi )º
∀l, γl = Ñ Üj F∗
j (ˆηl = ½
nl x∈Cl
tj (x)) + ½
nl x∈Cl
k(x)º
º ÍÔ Ø Û Ø W × Ø ÐÙ×Ø Ö ÔÓ ÒØ ÔÖÓÔÓÖØ ÓÒ
º Ì ×Ø ÓÖ ÓÒÚ Ö Ò Ò Ó ØÓ ×Ø Ô ¾µ ÓØ ÖÛ × º
Ö Û × ¸ ÒÓÒ¹ ÓÒ× ×Ø ÒØ ×Ø Ñ ØÓÖ Ù ØÓ ÎÓÖÓÒÓ ×ÙÔÔÓÖØ
ØÖÙÒ Ø ÓÒº
¾¼½ Ö Ò Æ Ð× Ò ½½ºk¹ ÅÄ ½ »½
166. ÓÑÔÙØÒ f ¹ Ú Ö Ò × ÓÖÒ Ö f ÝÓÒ×ØÓ ×Ø ÅÓÒØ ¹ ÖÐÓÒÙÑ Ö Ð ÒØ Ö ØÓÒ
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½
167. Ð ¹Ë ÐÚ Ý¹ × ×Þ Ö f ¹ Ú Ö Ò ×
If (X½ : X¾) = x½(x)f
x¾(x)
x½(x)
ν(x) ≥ ¼
Æ Ñ Ó Ø f ¹ Ú Ö Ò ÓÖÑÙÐ If (P : Q) Ò Ö ØÓÖ f (u) Û Ø f (½) = ¼
ÌÓØ Ð Ú Ö Ø ÓÒ ´Ñ ØÖ µ ½
¾ |p(x) − q(x)| ν(x) ½
¾ |u − ½|
ËÕÙ Ö À ÐÐ Ò Ö ( p(x) − q(x))¾ ν(x) (
√
u − ½)¾
È Ö×ÓÒ χ¾
P
(q(x)−p(x))¾
p(x)
ν(x) (u − ½)¾
Æ ÝÑ Ò χ¾
N
(p(x)−q(x))¾
q(x)
ν(x)
(½−u)¾
u
È Ö×ÓҹΠχk
P
(q(x)−λp(x))k
pk−½(x)
ν(x) (u − ½)k
È Ö×ÓҹΠ|χ|k
P
|q(x)−λp(x)|k
pk−½(x)
ν(x) |u − ½|k
ÃÙÐÐ ¹Ä Ð Ö p(x) ÐÓ
p(x)
q(x)
ν(x) − ÐÓ u
Ö Ú Ö× ÃÙÐÐ ¹Ä Ð Ö q(x) ÐÓ
q(x)
p(x)
ν(x) u ÐÓ u
α¹ Ú Ö Ò
½−α¾ (½ − p
½−α
¾ (x)q½+α
(x) ν(x))
½−α¾ (½ − u
½+α
¾ )
 Ò× Ò¹Ë ÒÒÓÒ ½
¾ (p(x) ÐÓ ¾p(x)
p(x)+q(x)
+ q(x) ÐÓ ¾q(x)
p(x)+q(x)
) ν(x) −(u + ½) ÐÓ ½+u
¾ + u ÐÓ u
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½
168. ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ Ó f ¹ Ú Ö Ò ×
Ó Ó Ö× ÒÒ Ò ÖÓÑ d Ò× ØÓ k < d Ò×
X = k
i=½Ai
Ä Ø pA = (pi )A Û Ø pi = j∈Ai
pj º
ÁÒ ÓÖÑ Ø ÓÒ ÑÓÒÓØÓÒ ØÝ
D(p : q) ≥ D(pA
: qA
)
⇒ f ¹ Ú Ö Ò × Ö Ø ÓÒÐÝ Ú Ö Ò × ÔÖ × ÖÚ Ò Ø Ò ÓÖÑ Ø ÓÒ
ÑÓÒÓØÓÒ Øݺ
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½
169. f ¹ Ú Ö Ò × Ò Ö¹ÓÖ Ö Î χk
Ú Ö Ò ×
If (X½ : X¾) =
∞
k=¼
f (k)(½)
k!
χk
P (X½ : X¾)
χk
P(X½ : X¾) =
(x¾(x) − x½(x))k
x½(x)k−½ ν(x),
|χ|k
P (X½ : X¾) =
|x¾(x) − x½(x)|k
x½(x)k−½ ν(x),
Ö f ¹ Ú Ö Ò × ÓÖ Ø Ò Ö ØÓÖ× (u − ½)k Ò |u − ½|kº
Ï Ò k = ½¸ χ½
P(X½ : X¾) = (x½(x) − x¾(x)) ν(x) = ¼ ´Ò Ú Ö
× Ö Ñ Ò Ø Ú µ¸ Ò |χ½
P |(X½, X¾) × ØÛ Ø ØÓØ Ð Ú Ö Ø ÓÒ ×Ø Ò º
χk
P × × Ò ×Ø Ò
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ »½
170. Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×
ÒÓÒ Ð ÓÑÔÓ× Ø ÓÒ Ó Ø ÔÖÓ Ð ØÝ Ñ ×ÙÖ
pθ(x) = ÜÔ( t(x), θ − F(θ) + k(x)),
ÓÒ× Ö Ò ØÙÖ Ð Ô Ö Ñ Ø Ö ×Ô Θ Ò ´Ð ÑÙÐØ ÒÓÑ Ð×µº
ÈÓ (λ) : p(x|λ) =
λx e−λ
x!
, λ > ¼, x ∈ {¼, ½, ...}
ÆÓÖI (μ) : p(x|μ) = (¾π)− d
¾ e− ½
¾
(x−μ) (x−μ)
, μ ∈ Rd
, x ∈ Rd
Ñ ÐÝ θ Θ F(θ) k(x) t(x) ν
ÈÓ ××ÓÒ ÐÓ λ R eθ − ÐÓ x! x νc
Á×Ó. Ù×× Ò μ Rd ½
¾θ θ d
¾ ÐÓ ¾π − ½
¾x x x νL
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¼»½
171. À Ö¹ÓÖ Ö Î χk
Ú Ö Ò ×
Ì ´× Ò µ χk
P ×Ø Ò ØÛ Ò Ñ Ñ Ö× X½ ∼ EF (θ½) Ò X¾ ∼ EF (θ¾) Ó
Ø × Ñ Ò ÜÔÓÒ ÒØ Ð Ñ ÐÝ × ´k ∈ Nµ ÐÛ Ý× ÓÙÒ Ò ÕÙ Ð ØÓ
χk
P (X½ : X¾) =
k
j=¼
(−½)k−j k
j
eF((½−j)θ½+jθ¾)
e(½−j)F(θ½)+jF(θ¾)
ÓÖ ÈÓ ××ÓÒ»ÆÓÖÑ Ð ×ØÖ ÙØ ÓÒ׸ Û Ø ÐÓ× ¹ ÓÖÑ ÓÖÑÙÐ
χk
P (λ½ : λ¾) =
k
j=¼
(−½)k−j k
j
eλ½−j
½ λj
¾−((½−j)λ½+jλ¾)
,
χk
P(μ½ : μ¾) =
k
j=¼
(−½)k−j k
j
e
½
¾
j(j−½)(μ½−μ¾) (μ½−μ¾)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ½»½
172. f ¹ Ú Ö Ò × Ò ÐÝØ ÓÖÑÙÐ ½
λ = ½ ∈ ÒØ( ÓÑ(f (i)))¸ f ¹ Ú Ö Ò ´Ì ÓÖ Ñ ½ Ó µ
If (X½ : X¾) −
s
k=¼
f (k)(½)
k!
χk
P (X½ : X¾)
≤
½
(s + ½)!
f (s+½)
∞(M − m)s
,
Û Ö f (s+½)
∞ = ×ÙÔt∈[m,M] |f (s+½)(t)| Ò m ≤ p
q ≤ Mº
λ = ¼ ´Û Ò Ú Ö ¼ ∈ ÒØ( ÓÑ(f (i)))µ Ò Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×¸
× ÑÔÐ Ö ÜÔÖ ×× ÓÒ
If (X½ : X¾) =
∞
i=¼
f (i)(¼)
i!
I½−i,i (θ½ : θ¾),
I½−i,i (θ½ : θ¾) =
eF(iθ¾+(½−i)θ½)
eiF(θ¾)+(½−i)F(θ½)
.
¾¼½ Ö Ò Æ Ð× Ò ½¾º ÓÑÔÙØ Ò f ¹ Ú Ö Ò × ½ ¾»½
173. × ÒÒ ÓÒ ÓÖÑ ÐÚ Ö Ò × Ò ÒÖ Ô Ð Ô×
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¿»½
174. ÓÑ ØÖ ÐÐÝ × Ò Ú Ö Ò ×
ÈÐÓØ Ó Ø ÓÒÚ Ü Ò Ö ØÓÖ Fº
q p
p+q
2
B(p : q)
J(p, q)
tB(p : q)
F : (x, F(x))
(p, F(p))
(q, F(q))
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
175. Ú Ö Ò × × Û Â Ò× Ò ² Ö Ñ Ò Ú Ö Ò ×
F ×ÑÓÓØ ÓÒÚ Ü ÙÒ Ø ÓÒ¸ Ø Ò Ö ØÓÖº
Ë Û Â Ò× Ò Ú Ö Ò ×
Jα(p : q) = αF(p) + (½ − α)F(q) − F(αp + (½ − α)q),
= (F(p)F(q))α − F((pq)α),
Û Ö (pq)γ = γp + (½ − γ)q = q + γ(p − q) Ò
(F(p)F(q))γ = γF(p) + (½ − γ)F(q) = F(q) + γ(F(p) − F(q))º
Ö Ñ Ò Ú Ö Ò ×
B(p : q) = F(p) − F(q) − p − q, ∇F(q) ,
Ð Ñ
α→¼
Jα(p : q) = B(p : q), Ð Ñ
α→½
Jα(p : q) = B(q : p)
ËØ Ø ×Ø Ð × Û ØØ ÖÖÝ Ú Ö Ò
Ø(p½ : p¾) = − ÐÓ p½(x)α
p¾(x)½−α
ν(x) = Jα(θ½ : θ¾)
ÓÖ ÜÔÓÒ ÒØ Ð Ñ Ð × ¾ º
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
176. Ú Ö Ò × Ò ÒØÖÓ × ¿¿¸ ¾
ÈÓÔÙÐ Ø ÓÒ Ñ Ò Ñ Þ Ö× Ö Ñ Òc
n
i=½ wi D(pi : c)
Ù× ÙÐ ÓÖ ÒØ Ö¹ × ÐÙ×Ø Ö Ò Ð ÓÖ Ø Ñ× ´k¹Ñ Ò×µ
ÓÖ Ö Ñ Ò Ú Ö Ò × cR = i wi pi ´ ÒÚ Ö Òظ ÒØ Ö Ó Ñ ××µº
cL = (∇F)−½( i wi ∇F(pi )) f ¹Ñ Ò Ð×Ó ÐÐ
ÕÙ × ¹ Ö Ø Ñ Ø Ñ Ò f −½( i wi f (xi )) Ø Ø Ò Ö Ð Þ × Ö Ø Ñ Ø
f (x) = x¸ ÖÑÓÒ f (x) = ½
x Ò ÓÑ ØÖ Ñ Ò× f (x) = ÐÓ xº
Ö Ñ Ò Ò ÓÖÑ Ø ÓÒ n
i=½ wi D(pi : cR) = F( i wi pi ) − i wi F(pi )¸
 Ò× Ò Ú Ö× ØÝ Ò Üº
ÓÖ Â Ò× Ò Ú Ö Ò ×¸ Ù× ÓÒ Ú ¹ ÓÒÚ Ü ÈÖÓ ÙÖ ÖÓÑ
c¼ = i wi pi ØÓ ×ÓÐÚ i wi Jα(c : pi )
ct+½ = (∇F)−½
i
wi ∇F(αct + (½ − α)pi )
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
177. Quasi-arithmetic mean:
Mf (x1, ..., xn) = f−1
( n
i=1
1
nf(xi))
Bregman divergence:
BF (p : q) = F(p) − F(q) − p − q, ∇F(q)
Probability:
pF (x|θ) = e t(x),θ −F(θ)+k(x)
pF (x|θ) = e−BF ∗(t(x):∇F(θ))+F∗
(t(x))+k(x)
Convex F
⇔
f = ∇F Monotone increasing
Legendre
transform
Convexity
Distances
AggregatorsProbabilities
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
178. ÌÓØ Ð Ö Ñ Ò Ú Ö Ò × ½
ÓÒ ÓÖÑ Ð Ú Ö Ò ¸ ÓÒ ÓÖÑ Ð ØÓÖ ρ
D (p : q) = ρ(p, q)D(p : q)
ÔÐ Ý× Ø Ö Ð Ó Ö ÙÐ Ö Þ Ö ¼
ÁÒÚ Ö Ò Ý ÖÓØ Ø ÓÒ Ó Ø Ü × Ó Ø × Ò ×Ô
Ø (p : q) =
B(p : q)
½ + ∇F(q), ∇F(q)
= ρB (q)B(p : q),
ρB(q) =
½
½ + ∇F(q), ∇F(q)
.
ÓÖ Ü ÑÔÐ ¸ ØÓØ Ð ×ÕÙ Ö Ù Ð Ò Ú Ö Ò
tE(p, q) =
½
¾
p − q, p − q
½ + q, q
.
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
179. ÌÓØ Ð × Û Â Ò× Ò Ú Ö Ò × ¿
Ø (p : q) = ρB (q)B(p : q), ρB(q) =
½
½ + ∇F(q), ∇F(q)
ØÂα(p : q) = ρJ(p, q)Jα(p : q), ρJ(p, q) =
½
½ + (F(p)−F(q))¾
p−q,p−q
 Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò ¸ ×ÕÙ Ö ÖÓÓØ × Ñ ØÖ
ÂË(p, q) =
½
¾
d
i=½
pi ÐÓ
¾pi
pi + qi
+
½
¾
d
i=½
qi ÐÓ
¾qi
pi + qi
ÙØ Ø ×ÕÙ Ö ÖÓÓØ Ó Ø ØÓØ Ð Â Ò× Ò¹Ë ÒÒÓÒ Ú Ö Ò × ÒÓØ Ñ ØÖ º
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ »½
180. If (P : Q) = p(x)f (q(x)
p(x) dν(x)
BF (P : Q) = F(P) − F(Q) − P − Q, ∇F(Q)
tBF (P : Q) = BF (P :Q)
√
1+ ∇F (Q) 2
CD,g(P : Q) = g(Q)D(P : Q)
BF,g(P : Q; W) = WBF
P
Q : Q
W
Dv
(P : Q) = D(v(P) : v(Q))
v-Divergence Dv
total Bregman divergence tB(· : ·) Bregman divergence BF (· : ·)
conformal divergence CD,g(· : ·)
Csisz´ar f-divergence If (· : ·)
scaled Bregman divergence BF (· : ·; ·)
scaled conformal divergence CD,g(· : ·; ·)
Dissimilarity measure
Divergence
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ¼»½
181. ËÙÑÑ ÖÝ È ÖØ ÁÁº ÓÑ ØÖ ÓÑÔÙØ Ò Ò ÁÒ ÓÖÑ Ø ÓÒ
ËÔ ×
ÄÓ Ø ÓÒ¹× Ð Ñ Ð ×¸ ×Ô Ö Ð ÒÓÖÑ Ð¸ ×ÝÑÑ ØÖ ÔÓ× Ø Ú Ò Ø
Ñ ØÖ × → ÝÔ Ö ÓÐ ÓÑ ØÖݺ
ÀÝÔ Ö ÓÐ ÓÑ ØÖÝ Ò ÓÒ×ØÖÙ Ø ÓÒ× Ò ÃÐ Ò ×
ËÔ Ó ×Ô Ö × Ò Ù ÐÐÝ Ò ÓÒÒ Ø ÓÒ ÓÑ ØÖÝ
ËÝÒØ Ø ÓÑ ØÖÝ ÓÖ Ö Ø Ö Þ Ò Ø ×Ø ÖÖÓÖ ÜÔÓÒ ÒØ Ò Ý ×
ÖÖÓÖ
ÓÒ ÓÖÑ Ð Ú Ö Ò × ØÓØ Ð Ö Ñ Ò»ØÓØ Ð Â Ò× Ò Ú Ö Ò ×
ÐÙ×Ø Ö Ò Ù× Ò Ô Ö Ó ÒØÖÓ × ÓÖ ÐÙ×Ø Ö× Ù× Ò Ñ Ü Ú Ö Ò × ÓÖ
×ÝÑÑ ØÖ Þ ÐÔ Ú Ö Ò ×
Ä ÖÒ Ò ×Ø Ø × Ð Ñ ÜØÙÖ × Ñ Ü Ñ Þ Ò Ø ÓÑÔÐ Ø Ð Ð ÓÓ ×
× ÕÙ Ò Ó ÓÑ ØÖ ÐÙ×Ø Ö Ò ÔÖÓ Ð Ñ× k¹ ÄÅ
ÁÒ × Ö Ó ÐÓ× ¹ ÓÖÑ ×ÓÐÙØ ÓÒ× Â Ö Ý× ÒØÖÓ Ù× Ò Ä Ñ ÖØ W
ÙÒ Ø ÓÒ¸ f ¹ Ú Ö Ò ÔÔÖÓÜ Ñ Ø ÓÒ ÓÖ Ò ÜÔÓÒ ÒØ Ð Ñ Ð ×º
¾¼½ Ö Ò Æ Ð× Ò ½¿º ÓÒ ÓÖÑ Ð Ú Ö Ò × ½ ½»½