7. • Amazon EC2
• 論文投稿までの日数--
つまり
? )(minarg*
xx
x
f
但し
)(xf の評価は非常に時間がかかるので
なるべく少ないサンプルで高速に 大域最小解を求めたい
)(xf :機械学習の性能の悪さ
• 形状はよく分からない
• 勾配情報は不明
• 非線形・非凸
x は機械学習アルゴリズムのHyperParameter
多次元(1D~10D)
Ex: SVMのC,RBF
Kernel のγ, 正則化項
のλ, …
good
1/10/2013 7@utotch
8. 解法のOverview
?
));(( θxfp
))};,{(|)(( θxx nn yfp
f(x)の事前分布を決める
サンプル点のf(x)を評価し、
のf(x)事後分布を決める
)}),{(,( nn ya xx
)}),{(,(maxarg nnnext ya xx
x
x
f(x)の事後分布と、サンプル点から計
算される「候補点の良さ」の指標
※実際はMCMCして求める
1/10/2013 8@utotch
20. 比較表
Gaussian Distribution Gaussian Process
点,Vector の分布 関数(無限次元のベクトル)の分布
mean
covariance
Mean function
Covariance function
= Kernel
Index=i Index=
D
R
DD
RR
RRm D
:)(x
RRRk DD
),(:),( x'x
で分布の形が決まるで分布の形が決まる
1/10/2013 20@utotch