11. 潜在空間と生成モデルのイメージ
11
既存手法(RNNLM)
提案手法
潜在空間
潜在空間
This was only way.
This was only way.
I Love you!
was is This was way.
既存手法 (RNNLM) では、潜在空間から適当な
点をピックアップして文を生成しても、文法的にお
かしな文になってしまいます
提案手法では、潜在空間から適当な点をピック
アップして文を生成しても、文法的に問題ない文
になります。
(論文で言及しているのは2つの既知の文の間の部分)
点によってはうまくいくが...
だいたいうまくいかない...
だいたいうまくいく!
34. 深層学習による文章生成の関連研究
● Show and Tell
○ 画像からキャプションを生成
● Sequence to Sequence
○ 文章から文章を生成。翻訳や雑談、 Smart Reply などに利用可能
● SeqGAN
○ ランダムな数値から文章を生成。自然言語に GAN を適用
● Generating Sentences from a Continuous Space
○ ランダムな数値から文章を生成。今回紹介した論文
34
35. その他参考資料
● ★高田純次発言集1530選(高田純次語録)
● WILDML: RNNS IN TENSORFLOW, A PRACTICAL GUIDE AND
UNDOCUMENTED FEATURES
● Introduction to Recurrent Networks in TensorFlow
● 生成モデルの Deep Learning
35