17. SequenceEncoder
w ∈x (i = 1, 2, ..., ∣x∣) からEmbeddingvectorν を計算
Bi‑GRUで各時刻でのhiddenstateを計算
h = f ν ,h
hiddenstateをまとめてメモリバンクMを作成
M = h ,h , … ,h
i seq i
i biGRU ( i i−1)
⟨ 1 2 ∣x∣⟩
‑ 17
22. 目的関数
NTMのLoss
L = D (p(z)∥q(z∣x)) −E [p(x∣z)]
キーフレーズ生成のLoss
L = − log Pr y ∣x , θ
最終的なLoss
L =L + γ ⋅L
NTM KL q(z∣x)
KG
n=1
∑
N
( ( n n n))
NTM KG
‑ 22