深層学習による自然言語処理 4.2-4.3 誤って古いファイルをあげてしまっていたため、参考文献の下3つに情報が漏れてるのと、そのあとに余分なスライドが載っちゃっています 🙇‍♂️

1. 深層学習による自然言語処理
4.2-4.3
Kentaro Nakanishi
2019/03/09

2. 自己紹介
Kentaro Nakanishi
sns: @cfiken
株式会社ミクシィ/エンジニア
2015/04:
新卒入社 & サービス開発 (iOS)
2018/04:
Deep で NLP な新規事業に異動
もろもろ1から勉強中
趣味: youtube, kaggle

3. 資料の注意点
● なるべく書籍に沿わずに英語表記で記載します
符号化: encoder
復号化: decoder
注意機構: attention mechanism
etc..
● 一部書籍とは例となるモデルなどが異なります

4. 4章
言語処理特有の深層学習の発展

5. 4章: 言語処理特有の深層学習の発展
4.1. Attention Mechanism
4.2. Memory Network
4.3. 出力層の高速化

6. 本日の内容
4.1. Attention Mechanism
4.2. Memory Network
4.3. 出力層の高速化

7. 前回内容の復習

8. Sequence to sequence (encoder decoder)
系列を入力し、系列に変換する
• encoder embedding layer
• encoder recurrent layer
• decoder embedding layer
• decoder recurrent layer
• decoder output layer

9. Attention mechanism
● RNN での Attention
最終的な隠れ状態を使うので
はなく、どの時点での隠れ状
態を重視するかも含めて学習
させる仕組み。
長い系列だとはじめの情報が
伝わりづらいという RNN の
課題が改善された。

10. Attention mechanism
● より一般的な Attention
key と value からなる
Dictionary に対して、 query
で情報を取ってくる機構

11. 4.2
Memory Network

12. モチベーション
seq2seq や attention mechanism により sequence を入
れると何かしら sequence を生成するモデルが出来た
応用先 (5章)
● 機械翻訳
● 文書要約
● 対話
● 質問応答

13. モチベーション
● 機械翻訳
○ 与えられたセンテンスだけでなく、もっと長いコンテキス
トをもとに翻訳したい
● 対話
○ 与えられたセンテンスに対する返答ではなく、会話のコン
テキストや状況に沿って返答してほしい
● 質問応答
○ 過去の発言やデータをもとに回答してほしい

14. 長いコンテキストを扱うアイディア
HRED [1]
[1] figure 3 を引用

15. Memory Networks

16. Memory Networks 概要
より直接的に記憶をモデル化するアイディア [2]
記憶 m (object list) と4つのモジュールを持つモデル
何か入力を入れると、記憶をもとに出力を返してほし
い、という問題を解く
Joe went to the kitchen. Fred went to the kitchen. Joe picked up
the milk. Joe travelled to the office. Joe left the milk. Joe went to
the bathroom.
Where is the milk now? A: office

17. Memory Networks 概要
4つのモジュール
● I: input feature map
● G: generalization
● O: output feature map
● R: response

18. Memory Networks 概要
● I: input feature map
入力を内部表現に変換
● 例
○ Bag-of-Words 表現
○ embedding vector

19. Memory Networks 概要
● G: generalization
入力をメモリに一般化
● 例
○

20. Memory Networks 概要
● O: output feature map
入力と記憶から出力表現 o を獲得
● 例
○ 関連の強いメモリを選んで
入力と concat して返す

21. Memory Networks 概要
● R: response
出力表現から応答 r を生成
● 例
○ 最も関連する単語を返す

22. Memory Network
● 実際のモデル例を見ていく
○ Basic Model [2]
■ Memory Network の論文で挙げられている例
○ End-to-end Memory Network [3]
○ Dynamic Memory Network [4]

23. Basic model
● 前提
○ 根拠情報 (supporting fact) が与えられる
○ モデルの最終的な出力は単語
● 例
Joe went to the kitchen. Fred went to the kitchen. Joe picked up
the milk. Joe travelled to the office. Joe left the milk. Joe went
to the bathroom.
Where is the milk now? A: office

24. Input & Generalization
● input feature map
○ そのまま (前処理のみ)
○
● generalization
○ メモリの空いているスロット番号 N として、
○

25. Output Feature Map
● output feature map
入力 x に対して、k 個の supporting memory を探索
(basic model では k = 2)
は入力とメモリのスコア関数 (後述)

26. ● output feature map
Joe went to the kitchen. Fred went to the kitchen. Joe picked up the milk.
Joe travelled to the office. Joe left the milk. Joe went to the bathroom.
Where is the milk now?
Output Feature Map

27. ● output feature map
Joe went to the kitchen. Fred went to the kitchen. Joe picked up the milk.
Joe travelled to the office. Joe left the milk. Joe went to the bathroom.
Where is the milk now?
Output Feature Map

28. ● output feature map
Joe went to the kitchen. Fred went to the kitchen. Joe picked up the milk.
Joe travelled to the office. Joe left the milk. Joe went to the bathroom.
Where is the milk now?
Output Feature Map

29. Output Feature Map
● output feature map
入力 x に対して、k 個の supporting memory を探索
(basic model では k = 2)
は入力とメモリーのスコア関数 (後述)

30. Output Feature Map
● output feature map
最終的な出力は

31. Response
● response
ここで、 は出力情報と単語のスコア関数 (後述)

32. Score Function
● スコア関数
ここで、
例: BoW 表現など
: embedding matrix
で別のパラメータ行列 を用いる

33. Training
● トレーニング
次の margin ranking loss を最小化する

34. 課題
● Memory Networks の課題
○ 途中で argmax が使われている
■ argmax が正しい(中間課題を解く)必要がある
○ 学習に supporting facts が必要
○ k を増やすとベクトルが大きくなる

35. End-to-end Memory Networks

36. Hard Attention と Soft Attention
0.70.10.1 0.1
Hard Attention Soft Attention

37. End-to-end Memory Networks
● Soft Attention を用いた Memory Networks
○ output feature map において、関連するメモリを
取り出すのではなく、メモリの重み付き和をとる
○ end-to-end に学習できる
= 中間課題を解く必要がない
● multi hop で複数回 attention を適用

38. Single Layer
[3] より引用

39. Single Layer

40. Single Layer
query (質問文)を
B で Embedding

41. Single Layer
memory (記憶)を
C で Embedding し、
output とする

42. Single Layer
memory (記憶)を
A で Embedding し、
input とする

43. Single Layer
input の各ベクトル と
u で内積を取り、
メモリと質問のマッチ
度を計算
その後、softmax
を取って確率とする

44. Single Layer
output c を先程計算し
た weight p で重み付
き和をとる

45. Single Layer
出力は単語 a
メモリからの情報 o と
質問からの情報 u を使う

46. Multi-hop
新たに出来た出力表現
を次の query として同じ処理を
繰り返す

47. Multi-hop
Joe went to the kitchen. Fred went to the kitchen.
Joe picked up the milk. Joe travelled to the office.
Joe left the milk. Joe went to the bathroom.
Where is the milk now? A: office
新たに出来た出力表現
を次の query として同じ処理を
繰り返す

48. Memory Network との違い
● Memory Network
質問文とメモリの内積をとって、高いものを
出力情報として使っていた

49. Memory Network との違い
(1) argmax ではなく
soft attention で 重み付
き和を取っている
(2) マッチ度計算に使っ
たメモリをそのまま
使うのではなく、別で
変換したものを使ってい
る

50. Key
Dictionary として見る Attention
Value
Query

51. Training
● 微分可能な関数のみで構成されているので、
入力情報 , 質問文 , 正しい返答
が与えられれば、クロスエントロピー損失を用いて
全体を一気通貫に学習させることが出来る

52. Memory Networks からの改善点
● 微分可能な関数だけで構成されている
● supporting facts が必要ない
● k の大きさに応じてベクトルのサイズが変わらない

53. Dynamic Memory Networks

54. Dynamic memory networks
[4] Figure 3 より引用

55. Dynamic memory networks
● 各モジュールで encode に GRU を使用
● episodic memory (value に相当) もゲート付き GRUを
使用
● key, query を使用したゲートの重みの計算には二層の
FFN を使用
● hopping 回数が動的に決まる (最大値は指定する)

56. その他の Memory Networks
● Neural Turing Machine (2014) [5]
○ 明示的に記憶領域を持ち、read と write ができる
○ copy, sort といったアルゴリズムタスク
● Neural GPU Learns Algorithms (2015) [6]
○ 上記に加えて、足し算などの演算ができるように

57. 私見
● 辞書から情報を引き出す Attention の仕組みは今では一般
的なので、Memory Network という名前を聞くことは減っ
ている気がする
○ Attention の仕組みを encoder として使うなど
● Memory 用のモデルとしてではなく、汎用的なモデルで同様
のことが出来るようになってきた印象
○ Universal Transformer (2018) は bAbI で全問正解

58. 4.3
出力層の高速化

59. 出力層のおさらい
● 出力層
色んなモデルで何らかの表現 o を獲
得した後、最終的に V 次元 (V: 語彙
数)のベクトルに変換される
確率に変換するために softmax を取
ると、

60. 出力層の課題
● クロスエントロピー損失で学習を行う
Y は全語彙集合になるため、分母の計算が重くなる

61. 分配関数さらに、
とおくと、次のようにかける
勾配は、
出力層の課題

62. 出力層の課題
となるので、

63. 出力層の課題
第二項はすべての語彙について計算する必要がある
-> 重い

64. 対策
様々な方法が提案されている
● Importance Sampling
● NCE (Noise Contrastive Estimation)
● Negative Sampling
● ブラックアウト
● 階層的ソフトマックス

65. 対策の比較
● 階層的ソフトマックス
○ モデル自体の形を変えて計算を効率化する
● NCE / Negative sampling / ブラックアウト
○ 目的関数を変える(解く問題を工夫する)ことで計算
を効率化する
● Importance sampling
○ もとの目的関数の期待値計算を近似する

66. Importance Sampling
ある分布 p についての期待値を、標本平均で近似計算
したい
p からのサンプリングが難しい場合に、サンプリング
が容易な分布 q を用意して、そこからの標本を使って
計算する

67. Importance Sampling
まだ p の計算が必要
= Z(y) の計算が必要

68. Importance Sampling
一様分布 における の期待値
を使って、 とかける。
ここから先ほどと同様に importance sampling で、
※ 途中式省略していますが、書籍 P112 に載っています

69. Importance Sampling
勾配の式の中に p がなくなった！
= 語彙数に依存した項を取り除くことが出来た

70. NCE [9]
● Z を近似するのではなく、
とおいて、 を満たすような c を推定すること
を考える
● これができれば Z を計算する必要がなくなるが、最尤
推定で最適化できなくなる
(c -> ∞ とすると負の対数尤度は無限に最小化できるが、確
率の要件を満たさなくなる)
● 目的関数を工夫することで推定可能にする

71. NCE: 目的関数
● 目的関数を工夫することで推定可能にする
今まで: 語彙集合の中から単語を正しく分類する
NCE: 学習データとノイズデータを正しく分類する

72. NCE: 疑問点
● 具体的にどういう式になるの?
○ この後見ます
● 勝手に目的関数変えてちゃんと学習できるの?
○ 出来る！
○ 最尤推定で求めたものと一致することが示されてい
ます [9]

73. NCE: 具体的な形
● p の分布から得られたデータと、q の分布から得られた
データを正しく識別するような分類問題を考える
となるような確率変数 D を定義する。ノイズからのデータ
がk 倍出現しやすいとすると、

74. NCE: 具体的な形
● ノイズからのデータが k 倍出現しやすいとすると、
D と Y の同時確率は、

75. NCE: 具体的な形
● ある Y がそれぞれからサンプリングされた確率は、

76. NCE: 具体的な形
● これらを使って分類のための負の対数尤度をとると、
ここで、

77. NCE: self-normalized
● Z = 1 (c = 0) と仮定して置いてもうまくいくことが経
験的に発見されている
○ self-normalized (自己正規化) という
○ すなわち で計算すれば良い

78. Negative Sampling
● NCE をより単純化させた方法 [10]
● 識別にシグモイド関数を使う
● 実装が単純で動作も軽いため、よく使われる
○ 3.3.3 が具体例 (ただし書籍は間違っている)

79. 質疑 / 議論

80. ありがとうございました

81. 参考文献
[1] A. Sordoni et al., ‘A Hierarchical Recurrent Encoder-Decoder For Generative
Context-Aware Query Suggestion’., arXiv:1507.02221, 2015.
[2] J. Weston et al., ‘Memory Networks’, arXiv:1410.3916, 2014.
[3] S. Sukhbaatar et al., ‘End-To-End Memory Networks’, arXiv:1503.08895, 2015.
[4] A. Kumar et al., ‘Ask Me Anything: Dynamic Memory Networks for Natural
Language Processing’, arXiv:1506.07285, 2015.
[5] A. Graves et al., ‘Neural Turing Machine’, arXiv:1410.5401, 2015.
[6] Łukasz Kaiser and Ilya Sutskever, ‘Neural GPUs Learn Algorithms’,
arXiv:1511.08228, 2015.
[7] M. Dehghani et al., ‘Universal Transformers’, arXiv:1807.03819, 2018.
[8] Wizard of Wikipedia
[9] Noise Contrastive Estimation
[10] Distributed representation of words and phrases and thier compositionality

82. ブラックアウト
● NCE と Importance Sampling を組み合わせたような手
法

83. 階層的ソフトマックス