11. 二つのアファイン接続
e-geodesic
m-geodesic
log , log 1 logr x t t p x t q x c t
, 1r x t tp x t q t
,
q x
p x
*
( , )
12. 双対接続:二つのアファイン接続双対接続:二つのアファイン接続
, , , i j
ijX Y X Y X Y g X Y
Riemannian geometry:
X
Y
X
Y
*
, , ,X XX Y Z Y Z Z Y
19. Divergence: :D z y
: 0
: 0, iff
: ij i j
D
D
D d g dz dz
z y
z y z y
z z z
positive‐definite
Y
Z
M
Not necessarily symmetric
D[z : y] = D[y : z]
Taylor expansion
20. 双対平坦空間
2 2
exponen
-coordin
tial fam
ates -coordinates
potential functions ,
0
, exp
: cumulant generating function
: negative entropy
canon
i
ical d v
:
i
ly
ij
ij
i j i j
i i
i i
g g
p x x
ergence D(P: P')= ' 'i i
25. Metric and Connections Induced by Divergence
(Eguchi)
'
' '
1
: : : = (z - y )(z - y )
2
:
:
ij i j ij i i j j
ijk i j k
ijk i j k
g D D g
D
D
y z
y z
y z
z z y z y z
z z y
z z y
*
'
{ , }
,i i
i iz y
Riemannian metric
affine connections
26. 統計学への応用
curved exponential family:
, expp x u u u x
1
1 n
k
x x k
n
:推定
ˆu
ˆ x
1, 2( , ) ,... np x u x x x
( , ) exp{ ( )}p x x
1
ˆ( ,..., )nu x x
0 0:H u u :検定
27. curved exponential family:
, expp D u u u x
: estimator
ˆu
ˆ x
1, 2( , ) ( , ( )) ,... np x u p x u x x x
( , ) exp{ ( )}p x x
1
ˆ( ,..., )nu x x
31. 誤差の高次漸近理論誤差の高次漸近理論
1
1
, (u) : , ,
ˆu u , ,
n
n
p x x x
x x
ˆ ˆ
T
e E u u u u
1 22
1 1
e G G
n n
1
1G G
:Cramér-Rao: linear theory
2 2 2
2
e m m
M AG H H
:
ˆu
ˆ x
quadratic approximation
34. Neyman‐Scott問題
1 1
2 2
{ ( , , )}
( , , )
( , , )
( , , )N N
M p x
x p x
x p x
x p x
u: parameter of interest
v: nuisance parameter
35. Semiparametric 統計モデルSemiparametric 統計モデル
, ,
( )
M p x Z
Z
y x
'
i i i
i i i
y
x
mle, least square, total least square
, ; , , ; ,p x y Z p x y Z d
x
y
linear relation ( , )x yx
36. 統計 Model
2 2
1
1 1
, , exp
2 2
, , : , , ,
, , , ,
i i i n
p x y c x y
p x y
p x y Z p x y Z d
semiparametric
37. 最小二乗法は良いか ?
2
2
ˆmin :
1
,
0
Neyman-Sc
ml
ott
e, TLS
i i
i i
i
ii
i i
i i i i
x y
L y x
x
yy
n x x
y x y x
38.
'
1 2
,
,
, , , ,
, , 0
, 0
ˆ, 0
Z
Z
i
x x p x Z
f x E f x
E f x
f x
推 定 関
定
数
推 方 程 式
セミパラ統計モデル
39. 推定関数
, unbiase, 0: dZE f x
1
ˆ ˆ, 0: = +
n
i
i
f x e
2
2
2
1ˆ
E f
E
n E f
40. Fiber Bundle
, ; , log
, ; , log
u x y Z p
v x y Z p
Z
{ , , }p x y Z
Z
41. Estimating Function ,f x
I N A
T T T T
, , : optimal estimating functionI
u x z
,var : , 0
,
: , 0
, 0
Z
z
z
z
z
e in iant E f x
f x f
m orthogonality v f
v f
m
e
42.
43.
2
2 22
2 2
2
2
2
, ; 0
, ;
1
2
21 3
0 : :
4 4
1 1 2
1: 1 :
32
1
: :1
i if x y
f x y x y c y x
c
c V
n
c V
n
c v
n
45. EM algorithm
hidden variables
, ;p x y u
1, , ND x x
, ;M p x y u
,M DD p p p x y x x
ˆmin , :KL p p M x y m-projection to M
De-projection to ˆmin : , ;KL p D p x y u
46. 独立成分分析
1
i ij j
W A
A x A s
W
x s
y x
s A W y
x
観測信号: x(1), x(2), …, x(t)
復元信号: s(1), s(2), …, s(t)
52. 行列の空間: Lie群
-1
d dX WW
2 1
tr trT T T
T
d d d d d
l
l
W X X W W W W
W W
W
:dX
I I d X
W
dW W
non-holonomic basis
1
W
58. 数理ニューロン
i iy w x h w x
x y
( )u
u
59. 多層パーセプトロン
i iy v n w x
21
; exp ,
2
, i i
p y c y f
f v
x x
x w x
x y
1 2( , ,..., )nx x x x
1 1( ,..., ; ,..., )m mw w v v
60. 多層パーセプトロンと神経多様体
1 1,
,
, ; ,
i i
m m
y f
v
v v
x θ
w x
θ w w
neuromanifold
( )x
space of functions
61. 例題からの学習
ˆ,xfx
1 1{ , , , , }n nD y y 多数の例題 x x
learning ; estimation
62. Backpropagation ‐‐‐確率降下学習Backpropagation ‐‐‐確率降下学習
1 1
2
examples : , , , training set
1
( , ; ) ,
2
log , ;
t ty y
E y x y f
p y
x x
x
x
,
t t
i i
E
f v
x w x
( , )y f x n
63. 計量: 実はリーマン空間であった
22
ij i j
T
ds d
g d d
d G d
j
i
d
log ( | ; ) log ( | ; )
( ) [ ]ij
i j
p y x p y x
g E
68. 最急降下方向--- Natural Gradient最急降下方向--- Natural Gradient
1
1
2
, ,
=
n
i j
ij
l l
l
l G l
d d Gd G d d
d
( )l
( , ; )t t t t tl x y
69. 自然勾配学習 Natural Gradient
2 2
1
max
under ij i j
dl l d l l d
d g d d
d l G l
( , ; )t t t t tl x y
78. Basis vectors
1 1 1 1
1 1
1 1
1 1
( ... )
...
l l
l
l l
l l l
l l l l l
i i
i i i i i i
l l l l m m
l l l
i i
i
l m m
a
i i
a a
dx u W dx B dx
d Bd B Bd
B B B
B u W
x x x
e e e
79. リーマン計量の力学
2
2 2
2 2
2 2
1 2
( ) ( )
,
( ) ( '( ) )
, ,
E[ '( )) ] E[ '( )) ]E[ ]
1
( ) { '( )}
2 1 2(
k k
k k a a
i j
ij
k k
a b ab k j k j
k j k j
b
b
y w y b u
dy B dy B
ds g dy dy d d
B B u w
g B B
u w w u w w
A
A Av Dv
A
e e
y y
e e e e
2
)
平均場近似
80. 1
1 1
1
( )
conformal transformation!
( ) 1:
( )
ab ab
l s
ab ab
g A g
A
g A
拡大(カオス、Lyapnov指数)
回転,拡大・縮小
81. 曲率の力学
2 2
''( )( )( ) '( )
| |
l
ab a b a b
a b a b
ab ab ab
ab ab
H y
u
H
e
w e w e w e
H H H
H
Euler‐Schouten曲率
Affine connection
82. 距離法則 (Amari, 1974)
21
( , ') ( ')
1
( , ') ' '
' 2
ii
i i
D x x x x
n
C x x x x x x
n
D A A C
83. 本当か!
( , ' )
( )
l lD D
D D
x x
等距離
フラストレーション
フラクタル
(N + 1)点
;n l
85. 確率 model : 深層回路の多様体
2
2
( ) ; ~ (0,1)
1
( , : ) exp{ ( ( ; )) } ( )
2
[ log ( , : ) log ( , : )]x W W
y u N
p y x W c y x W q x
G E p y x W p y x W
ds dWGdW
86. Fisher information
1 1 1
2 1 1
1
' ...
, (1/ )
, 0 ~ (1/ ),
, 0 ~ (1/ ),
m l
l l l m
m m m m
l l l
il m x p
l m p
l l
i j p
G E
W W
W B BB B
W W W W
G W W E O n
G W W O n l m
G O n i j
x
w x x
w w
Y. Ollivier
88. Fisher information of unit
0
2
1 2 1 2
E E [( ') ]
{ , ,... } { * , *,... , *}:ortho-normal basis
* ,
x
n n
n
y w
G
w
xx
e e e e e e
w
e
x w w
w x
89.
2
1
0 0 0 1
simila: r of rm
B C
G A
G
I
ww wb+ bw
w w
b
Input x: independent and identically distributed, 0‐mean