1. On the Integration of Topic Modeling and Dictionary Learningの
サンプリングのための式解説
正田備也 ＠長崎大学
平成 23 年 12 月 20 日
1 Full joint distribution
個々の隠れ変数やパラメータについて、まず、別々に確率（密度）の式を書いておく。
p(xmip|d·p, zmi, smi, γϵ) =
√
γϵ
2π
exp
{
−
γϵ(xmip −
∑
k dkpzmiksmik)2
2
}
(1)
p(dkp|mk, γd) =
√
γd
2π
exp
{
−
γd(dkp − mk)2
2
}
(2)
p(mk|γm) =
√
γm
2π
exp
(
−
γmm2
k
2
)
(3)
p(smik|γs) =



2
√ γs
2π exp
(
−
γss2
mik
2
)
smik ≥ 0
0 otherwise
= δ(smik ≥ 0) · 2
√
γs
2π
exp
(
−
γss2
mik
2
)
(4)
p(zmik|πhmik,hmi ) = πzmik
hmik(1 − πhmik)1−zmik
where zmik ∈ {0, 1}, hmi ∈ {1, . . . , J}. (5)
p(πjk|c1, ηk) =
Γ(c1)
Γ(c1ηk)Γ(c1(1 − ηk))
πc1ηk−1
jk (1 − πjk)c1(1−ηk)−1
(6)
p(ηk|c0, η0) =
Γ(c0)
Γ(c0η0)Γ(c0(1 − η0))
ηc0η0−1
k (1 − ηk)c0(1−η0)−1
(7)
p(γϵ|aϵ, bϵ) =
baϵ
ϵ
Γ(aϵ)
γaϵ−1
ϵ e−bϵγϵ
(8)
p(γs|as, bs) =
bas
s
Γ(as)
γas−1
s e−bsγs
(9)
p(hmi|νrm , rm) =
∑
j
δ(hmi = j)νrmj where rm ∈ {1, . . . , T},
∑
j νtj = 1. (10)
p(νt|αν) =
Γ(αν)
Γ(αν/J)J
∏
j
ν
αν /J−1
tj (11)
p(rm|µ) =
∑
t
δ(rm = t)µt where
∑
t µt = 1. (12)
p(µ|αµ) =
Γ(αµ)
Γ(αµ/T)T
∏
t
µ
αµ/T −1
t (13)
p(ym|ωrm , rm) ∝
∏
l
ω
Nmyml
|ym|
rml (14)
p(ωt|αω) =
Γ(αω)
Γ(αω/L)L
ω
αω/L−1
tl (15)
ただし、δ(·) は、() 内の条件が成立するとき 1、それ以外のとき 0 の値をとる。
1

2. 以上をまとめると、full joint distribution が以下のように書ける。
p(X, D, S, Z, π, η, h, ν, r, µ, y, ω, γϵ, γs|c1, c0, η0, aϵ, bϵ, as, bs, αν, αω)
=
M∏
m=1
Nm∏
i=1
P∏
p=1
p(xmip|d·p, zmi, smi, γϵ) ·
K∏
k=1
P∏
p=1
p(dkp|mk, γd) ·
M∏
m=1
Nm∏
i=1
K∏
k=1
p(smik|γs) · p(mk|γm)
·
M∏
m=1
Nm∏
i=1
K∏
k=1
p(zmik|πhmik, hmi) ·
J∏
j=1
K∏
k=1
p(πjk|c1, ηk) ·
∏
k
p(ηk|c0, η0) · p(γϵ|aϵ, bϵ) · p(γs|as, bs)
·
M∏
m=1
Nm∏
i=1
p(hmi|νrm , rm) ·
T∏
t=1
p(νt|αν) ·
M∏
m=1
p(rm|µ) · p(µ|αµ) ·
M∏
m=1
p(ym|ωrm , rm) ·
T∏
t=1
p(ωt|αω) (16)
2 Full conditional distributions for Gibbs sampling
dkp の事後分布を求める。
p(dkp| · · · ) =
p(X, D, S, Z, π, η, h, ν, r, µ, y, ω, γϵ, γs|c1, c0, η0, aϵ, bϵ, as, bs, αν, αω)
∫
p(X, D, S, Z, π, η, h, ν, r, µ, y, ω, γϵ, γs|c1, c0, η0, aϵ, bϵ, as, bs, αν, αω)ddkp
∝
M∏
m=1
Nm∏
i=1
p(xmip|d·p, zmi, smi, γϵ) · p(dkp)
∝
M∏
m=1
Nm∏
i=1
exp
{
−
γϵ(xmip −
∑
k dkpzmiksmik)2
2
}
· exp
{
−
γd(dkp − mk)2
2
}
∝ exp
{
−
γϵ
2
∑
m
∑
i
(
xmip −
∑
k′̸=k
dk′pzmik′ smik′ − dkpzmiksmik
)2
−
γd
2
d2
kp + γdmkdkp
}
∝ exp
[
−
γϵ
2
∑
m
∑
i
{
d2
kpz2
miks2
mik − 2dkpzmiksmik
(
xmip −
∑
k′̸=k
dk′pzmik′ smik′
)}
−
γd
2
d2
kp + γdmkdkp
]
∝ exp
[
−
γd + γϵ
∑
m
∑
i z2
miks2
mik
2
d2
kp +
{
γdmk + γϵ
∑
m
∑
i
zmiksmik
(
xmip −
∑
k′̸=k
dk′pzmik′ smik′
)}
dkp
]
∝ exp
[
−
γd + γϵ
∑
m
∑
i z2
miks2
mik
2
{
dkp −
γdmk + γϵ
∑
m
∑
i zmiksmik(xmip −
∑
k′̸=k dk′pzmik′ smik′ )
γd + γϵ
∑
m
∑
i z2
miks2
mik
}2]
(17)
これは正規分布。
smik の事後分布を求める。
p(smik| · · · ) ∝
P∏
p=1
p(xmip|d·p, zmi, smi, γϵ) · p(smik|γs)
∝
P∏
p=1
exp
{
−
γϵ(xmip −
∑
k dkpzmiksmik)2
2
}
· δ(smik ≥ 0) · exp
(
−
γss2
mik
2
)
= δ(smik ≥ 0) · exp
{
−
γϵ
∑
p(xmip −
∑
k dkpzmiksmik)2
2
−
γss2
mik
2
}
= δ(smik ≥ 0) · exp
{
−
γϵ
∑
p(xmip −
∑
k′̸=k dk′pzmik′ smik′ − dkpzmiksmik)2
2
−
γss2
mik
2
}
∝ δ(smik ≥ 0) · exp
{
−
γs + γϵz2
mik
∑
p d2
kp
2
s2
mik + γϵzmiksmik
∑
p
(
xmip −
∑
k′̸=k
dk′pzmik′ smik′
)
dkp
}
∝ δ(smik ≥ 0) · exp
[
−
γs + γϵz2
mik
∑
p d2
kp
2
{
smik −
γϵzmik
∑
p(xmip −
∑
k′̸=k dk′pzmik′ smik′ )dkp
γs + γϵz2
mik
∑
p d2
kp
}2]
(18)
2

3. これは、truncated normal distribution なので、2D slice sampling が使える。
mk の事後分布を求める。
p(mk|γm) ∝
P∏
p=1
p(dkp|mk) · p(mk|γm) ∝
P∏
p=1
exp
{
−
γd(dkp − mk)2
2
}
· exp
(
−
γmm2
k
2
)
∝ exp
{
−
γd(Pm2
k − 2mk
∑
p dkp)
2
−
γmm2
k
2
}
= exp
{
−
(Pγd + γm)m2
k + 2γd(
∑
p dkp)mk
2
}
∝ exp
{
−
Pγd + γm
2
(
mk −
γd
∑
p dkp
Pγd + γm
)2}
(19)
zmik の事後分布を求める。
p(zmik| · · · ) ∝
P∏
p=1
p(xmip|d·p, zmi, smi, γϵ) · p(zmik|πhmik, hmi)
∝
P∏
p=1
exp
{
−
γϵ(xmip −
∑
k dkpzmiksmik)2
2
}
· πzmik
hmik(1 − πhmik)1−zmik
(20)
これは、二項分布。zmik = 1 および zmik = 0 となる事後確率は、それぞれ、以下のようになる。
p(zmik = 1| · · · ) ∝ πhmik · exp
{
−
γϵ
∑
p(xmip −
∑
k′̸=k dk′pzmik′ smik′ − dkpsmik)2
2
}
(21)
p(zmik = 0| · · · ) ∝ (1 − πhmik) · exp
{
−
γϵ
∑
p(xmip −
∑
k′̸=k dk′pzmik′ smik′ )2
2
}
(22)
πjk の事後分布を求める。
p(πjk| · · · ) ∝
M∏
m=1
Nm∏
i=1
p(zmik|πhmik)δ(hmi=j)
p(πjk|c1, ηk)
∝
M∏
m=1
Nm∏
i=1
{
πzmik
hmik(1 − πhmik)1−zmik
}δ(hmi=j)
· πc1ηk−1
jk (1 − πjk)c1(1−ηk)−1
= π
c1ηk−1+
∑
m
∑
i δ(hmi=j)zmik
jk (1 − πjk)c1(1−ηk)−1+
∑
m
∑
i δ(hmi=j)(1−zmik)
(23)
これはベータ分布。
ηk の事後分布を求める。
p(ηk| · · · ) ∝
J∏
j=1
p(πjk|c1, ηk) · p(ηk|c0, η0)
∝
J∏
j=1
πc1ηk−1
jk (1 − πjk)c1(1−ηk)−1
· ηc0η0−1
k (1 − ηk)c0(1−η0)−1
(24)
論文には、slice sampling を使った、とあるので、どんな slice sampling か調べてみる。
g(ηk) ≡
J∏
j=1
πc1ηk−1
jk (1 − πjk)c1(1−ηk)−1
· ηc0η0−1
k (1 − ηk)c0(1−η0)−1
(25)
とおく。g(ηk) は非負の関数である。具体的に論文にある設定 c1 = 1, c0 = 10, η0 = 0.5 を使うと、
g(ηk) =
J∏
j=1
πηk−1
jk (1 − πjk)−ηk
· η4
k(1 − ηk)4
(26)
となり、g(0) = 0 かつ g(1) = 0 であることが分かる。微分すると
g(ηk)′
=
{
ηk(1 − ηk)
∑
j
log
πjk
1 − πjk
+ 4(1 − 2ηk)
}
·
∏
j
πηk−1
jk (1 − πjk)−ηk
· η3
k(1 − ηk)3
(27)
3

4. となり、g(0)′
= 0 かつ g(1)′
= 0 であることが分かる。
∑
j log
πjk
1−πjk
は定数なので C とおくと、g(ηk)′
= 0
となるのは Cηk(1 − ηk) + 4(1 − 2ηk) = 0 のとき、つまり ηk =
C−8±
√
(C−8)2+16C
2C のときで、正の解はちょ
うどひとつ。よって、g(ηk) は単峰性であり、slice sampling が使いやすい。ただし、逆関数は解析的に求ま
らないので、横軸に並行な直線と g(ηk) のグラフとの 2 つの交点は、数値計算的に求める必要がある。
残りの事後分布は、比較的、自明。
hmi の事後分布を求める。
p(hmi| · · · ) ∝
K∏
k=1
p(zmik|πhmik, hmi) · p(hmi|νrm ) ∝
K∏
k=1
πzmik
hmik(1 − πhmik)1−zmik
· νrmhmi (28)
これは、多項分布。hmi = 1, . . . , J それぞれの場合の確率を求めればよい。
νtj の事後分布を求める。
p(νtj| · · · ) ∝
M∏
m=1
Nm∏
i=1
ν
δ(hmi=j)δ(rm=t)
rmhmi
· ν
αν /J−1
tj = ν
∑M
m=1
∑Nm
i=1 δ(hmi=j)δ(rm=t)+αν /J−1
tj (29)
これはディリクレ分布である。なお、論文中の Section 3 では αν
J を αν
L とする typo がある。
rm の事後分布を求める。
p(rm| · · · ) ∝
Nm∏
i=1
∏
j
ν
δ(hmi=j)
rmj · µrm ·
∏
l
ω
Nmyml
|ym|
rml =
∏
j
ν
∑Nm
i=1 δ(hmi=j)
rmj · µrm ·
∏
l
ω
Nmyml
|ym|
rml (30)
これは、多項分布。rm = 1, . . . , T それぞれの場合の確率を求めればよい。
µt の事後分布を求める。
p(µt| · · · ) ∝
∏
m
µ
δ(rm=t)
t ·
∏
t
µ
αµ/T −1
t = µ
∑
m δ(rm=t)+αµ/T −1
t (31)
これは、ディリクレ分布。
ωtl の事後分布を求める。
p(ωtl| · · · ) ∝ ω
δ(rm=t)Nmyml
|ym|
rml · ω
αω/L−1
tl = ω
∑
m
δ(rm=t)Nmyml
|ym|
+ αω
L −1
tl (32)
これは、ディリクレ分布。
残りは、正規分布の precision パラメータ。まず γϵ については、
p(γϵ| · · · ) ∝
M∏
m=1
Nm∏
i=1
P∏
p=1
√
γϵ
2π
exp
{
−
γϵ(xmip −
∑
k dkpzmiksmik)2
2
}
·
baϵ
ϵ
Γ(aϵ)
γaϵ−1
ϵ e−bϵγϵ
∝ γ
2aϵ+MNmP
2 −1
ϵ exp
{
−
2bϵ +
∑M
m=1
∑Nm
i=1
∑P
p=1(xmip −
∑
k dkpzmiksmik)2
2
γϵ
}
(33)
と、ガンマ分布を事後分布として得る。次に γs だが、各 smik は非負となるようにサンプリングされている
から、
p(γs| · · · ) ∝
M∏
m=1
Nm∏
i=1
K∏
k=1
2δ(smik ≥ 0)
√
γs
2π
exp
(
−
γss2
mik
2
)
·
bas
s
Γ(as)
γas−1
s e−bsγs
∝ γ
2as+MNmK
2 −1
s exp
(
−
2bs +
∑M
m=1
∑Nm
i=1
∑K
k=1 s2
mik
2
γs
)
(34)
と、やはりガンマ分布を事後分布として得る。
4