ICML2013読み会 Local Deep Kernel Learning for Efficient Non-linear SVM Prediction
1. Local Deep Kernel Learning
for Efficient Non-linear SVM Prediction
読み人: 得居 誠也 @beam2d
(Preferred Infrastructure)
2013-07-09
ICML 13読み会
Cijo Jose*, Prasoon Goyal*, Parv Aggrwal*, Manik Varma**
* Indian Institute of Technology Dehli
** Microsoft Research India
6. LDKLのカーネル=
局所カーネル 大域カーネル
K(xi, xj) = KL(xi, xj)KG(xi, xj)
Local Kernel
(特徴写像 )L
Global Kernel
(特徴写像 )G
• の特徴写像は (クロネッカー積)
• 今回は とする(線形カーネル)
- 特徴写像を陽に書ければなんでも良い
- e.g.)
K L ⌦ G
G(x) = x
G(x) = x ⌦ x
17. LDKLの最適化は主空間でのSGD
rwk
P(xi) = W wk iyi Lk
(xi)xi,
r✓k
P(xi) = ⇥✓k iyi
X
l
tanh( ✓0t
l xi)r✓k
Il(xi)wt
l xi
r✓0
k
P(xi) = ⇥0 ✓0
k iyi (1 tanh2
( ✓0t
k xi))Ik(xi)wt
kxixi.
• = のマージンが1未満なら1, そうでなければ0
• 下線部以外は簡単に計算できる
i xi
勾配は次式
18. 空間分割の最適化
sign関数を緩和
Ik(x) =
Y
l2Ancestors(k)
1
2
(sign(✓t
l x) + ( 1)C(l)
).
を陽に書き下すとIk 右に行くか左に行くか (1 or 0)
signの部分を最適化できるように緩和:
Ik(x) =
Y
l2Ancestors(k)
1
2
(tanh(sI✓t
l x) + ( 1)C(l)
).
r✓l
Ik(x) = Ik(x)(tanh(sI✓t
l x) + ( 1)C(l)
) l2Ancestors(k)sIx.