NIPS論文読み会@PFN
Gao, Weihao, et al. "Estimating mutual information for discrete-continuous mixtures." Advances in Neural Information Processing Systems. 2017.
https://arxiv.org/abs/1709.06212
22. KL estimator [Kozachenko & Leonenko 1987]
エントロピー H(X) を近似するために,確率変数 X ∈R が従う
分布 p(x) を k 近傍法を用いて近似:
p(x) ≡ ,
ただし,c は d 次元単位球の体積,ϵ/2 が k 近傍までの距離.
k 近傍法では,x に対して P を固定して ϵ だけを動かす.
d
c ϵd
d
Pk
d
k
22
25. KSG estimator [Kraskov et al 2003]
Z = (X, Y ) として,それぞれエントロピーを計算すると,
上式で,ϵ = ϵ = ϵ となるように H(X) と H(Y ) におけ
る k を取り直すことで,各式の最終項を打ち消す.
(X)H^
(Y )H^
(Z)H^
= ψ(k) − ψ(N) − log(c ) − log ϵ ,dx
N
dx
i=1
∑
N
x,i
= ψ(k) − ψ(N) − log(c ) − log ϵ ,dy
N
dy
i=1
∑
N
y,i
= ψ(k) − ψ(N) − log(c c ) − log ϵ .dx dy
N
d + dx y
i=1
∑
N
z,i
x,i y,i z,i
25
26. 具体的には,ϵ を ϵ と揃えるため,近傍の数を,x から
ϵ /2 までの距離にある点の数 n を使って置き換える:
(X) = ψ(n + 1) − ψ(N) − log(c ) − log ϵ .
Y についても同様:
(Y ) = ψ(n + 1) − ψ(N) − log(c ) − log ϵ .
x,i z,i i
z,i x,i
H^
N
1
i=1
∑
N
x,i dx
N
dx
i=1
∑
N
z,i
H^
N
1
i=1
∑
N
y,i dy
N
dy
i=1
∑
N
z,i
26
27. 改めて I(X, Y ) = H(X) + H(Y ) − H(X, Y ) に代入する
と,次式が得られる.
(X, Y ) ≡ ψ(k) + ψ(N) − ψ(n + 1) − ψ(n + 1) .I^
N
1
i=1
∑
N
( x,i y,i )
27
28. Reference
[1] Kozachenko, L. F., and Nikolai N. Leonenko. "Sample estimate of
the entropy of a random vector." Problemy Peredachi Informatsii
23.2 ﴾1987﴿: 9‐16.
[2] Kraskov, Alexander, Harald Stogbauer, and Peter Grassberger.
"Estimating mutual information." Physical review E 69.6 ﴾2004﴿:
066138.
[1] は KL estimator を提案した論文.ロシア語.
[2] は KSG estimator を提案した論文. KL estimator について
も説明されている.本資料の KL estimator の説明は,主にこ
の論文の記述に拠った.
28
29. [3] Gao, Weihao, et al. "Estimating mutual information for discrete‐
continuous mixtures." Advances in Neural Information Processing
Systems. 2017.
[4] Gao, Weihao, Sewoong Oh, and Pramod Viswanath.
"Demystifying fixed k‐nearest neighbor information estimators."
IEEE International Symposium on Information Theory ﴾ISIT﴿. 2017.
[3] は NIPS2017 で発表された離散・連続混合の相互情報量の
近似の論文.
[4] は [3] と同一の著者による KSG estimator のバイアスを改良
した論文.
29