Differentiable reasoning over a virtual knowledge baseの概要を紹介します。

1. 論文紹介：
DIFFERENTIABLE REASONING OVER A
VIRTUAL KNOWLEDGE BASE

2. 自己紹介
- 森山 直人（@vimmode)
- MNTSQ株式会社で自然言語処理を担当
- ニューラルネットワークを活用する自然言語処理に関心がつよいです

3. 本論文のポイント
- 質問応答を解くタスク
- テキストコーパスをナレッジグラフのように扱う（仮想ナレッジグラフ）
- テキストをナレッジグラフに変換する話ではない
- 同種の先行研究ですでに存在するが、本研究でモデル内部の知識同士の関係計算を見直し、
かつマルチホップな推論アーキテクチャを提案
- スコアが向上

4. 選定理由
- 自然言語処理で直接知識を扱うモデルがほしい
- ある程度構造化された知識を取り扱いたいが、データ構造を手で定義したくない
- エンジニアリングに力を入れている
- モデルの構造で新規性はそれほどなく、枯れた技術をうまく取り込んでいる

5. オープンドメインの質問回答
- 質問に対する回答はエンティティではなく、
コーパス（知識）の範囲（スパン）
- BERTの出力に回答の開始・終了タグの確率
を出力する層を追加するだけで実装できる
- 現実は回答がうまい具合にコーパスとしてま
とまっていないことが多い
- 回答のスパンが長文の場合や離れている場合
が苦手
https://speakerdeck.com/kyoun/survey-of-pretrained-language-models?slide=4より引用

6. - 知識を構造化し、エンティティ同士を関係で紐付けた構造
- エンティティと関係の記述方法は様々で、主語・述語・関係のようなトリプレットなリンクなど
- 構築と保守は工数がかかる
- 上の場合は回答には一度歌手が誰かを特定する必要があり、本論文ではこの推論の深さをホッ
プ数と呼ぶ
Grateful
Dead
????/??/??？？？
ナレッジベースによる質問回答
“When was the Grateful Dead’s lead singer born?”
LEAD SINGER BIRTH DATE

7. 本モデルの方向性
- 理想的には質問文に含まれるエンティティから、それに関係するエンティティを展開していく
ナレッジベース推論をしたいが、ナレッジグラフは構築せずにテキストコーパスから行う
- 質問文のエンティティから潜在エンティティを計算し、そこから更に潜在エンティティを展開
していくマルチホップ処理を組み込む
- 前述のようなバンドの歌手の誕生日の質問に対して、1ホップ目で歌手を取り出し、2ホップ目でその歌手
の誕生日をとりだす
- 明示的に与えられていないエンティティ同士の関係性は文中でのエンティティの共起と文の表
現から計算
- エンティティ同士の関係性を前述の類似度から計算する

8. コーパスをナレッジベースとして扱う先行研究
質問文とコーパスの文を
それぞれ文ベクトルに変換
質問文と回答文の距離が
近くなるようにニューラ
ルネットを学習
推論は近傍探索
Dense: NN
Sparse: TF-IDF
- Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index
- 質問文をNeuralNetとTF-IDF両方でエンコードしてエンティティに対して近傍探索
https://www.aclweb.org/anthology/P19-1436.pdf

9. - 文のエンコードにニューラルネットとTF-IDFを用いることで双方の弱みを補完
- ニューラルネット(BERT)
- 👍: 意味表現をうまく捉える
- 👎: 後の曖昧性が苦手(Einstein, Tesla)
- スパース(TF-IDF)
- 👍: 字句の情報を正確に表現できる
- 👎: 意味表現はデータ構造上難しい
- 複雑な質問に答えられない
- 単純な近傍探索にとどまっている
- 答えが単一文になっていない場合は対応できない
コーパスをナレッジベースとして扱う先行研究

10. 本モデルの主な処理
事前学習として
- コーパスを文に分割し、そこに含まれるエンティティのTF-IDFを計算
- コーパスのエンティティに関する質問応答のモデルを学習
- 「ボブ・ディランはアメリカの歌手」のナレッジに対して
- ボブ・ディランの国は？ボブ・ディランの職業は？を学習
モデル計算
1. 質問文とそこにに含まれるエンティティからコーパス内で関係性が高い文を抽出
2. 関係性の高い文に含まれるエンティティを抽出し、再度上記1を繰り返す再帰処理

11. 本モデルの全体像

12. 本モデルの全体像
入力文に含まれるエンティティを抽出
コーパスの各文のエンティ
ティのTF-IDF(2-3Gram)コ
ーパス
M: 文
ε: エンティティ
質問文に含まれるエンティティと
コーパスの各文(TF-IDF)の共起性
を計算

13. 本モデルの全体像
各エンティティのBoWと
質問文を(BERT)でエンコー
ドしたベクトルを結合
事前学習として、コーパ
ス内の文への質問回答を
学習
（質問文と回答の距離が
近くなるよう）
質問文に対して、距離
が近いコーパス内の文
を上位N個取り出す
上位N個の文ベクトル
を圧縮

14. 本モデルの全体像
質問文のベクトルとコー
パスで各文のエンティテ
ィの乗算からコーパスの
各文の重み（関連度）を
計算

15. 本モデルの全体像
各文の重みから関連度の
高いエンティティを
softmaxで抽出

16. 本モデルの全体像
抽出されたエンティティ
を潜在エンティティ（質
問文に含まれないエンテ
ィティ）として、エンテ
ィティリストに加えて再
度一連の処理を行う

17. 関連エンティティを抽出
- ホップt時点での潜在エンティティの確率は①直前のホップ(t-1)のエンティティ②関連文に含ま
れるそれぞれのエンティティ③質問文の同時確率から計算
コーパス内
の各文
直前ホップの
エンティティ
質問文と直前の
ホップから関連
文の確率を計算
質問文に対する1
ホップ前のエン
ティティ確率
コーパスの関連
文に含まれるエ
ンティティ確率

18. 関連文の絞り込み
- 質問文と潜在エンティティから関連文を発見するには
- 直前のエンティティのTF-IDFとコーパス内の各文のエンティティTF-IDFの共起を取得
- 質問文との類似度によってフィルタする
- 最初から関連性のみでフィルターできるのでは？
- 先行研究から質問文との関連性に加えて共起性を両方用いることで性能が向上する
質問文のエンティ
ティのTF-IDF
直前のホップのエ
ンティティTF-IDF
質問文(BERTでエンコード)
との関連性でフィルタ

19. 実験
MetaQA
- 映画ナレッジベースから関係データをサンプリングし、自然言語と組み合わせて質問文を構築
- 回答はすべてナレッジベースのエンティティで回答可能
- 1~3ホップそれぞれの深さの推論を必要とするデータセット
- 深いホップのデータほど本モデル（DrQA）が突出

20. 実験
MetaQA
- 各コンポーネントをなくした場合の精度変化
- 関連文の集約にmaxではなくsumを使う
- 潜在エンティティ選定のためのsoftmax計算を外す
- 関連文の選定にTF-IDFベクトルを使わない
- 関連文の選定にBERTベクトルを使わない
- 学習で使うナレッジベースのデータを減らす

21. 実験
WikiData
- Wikipediaのエンティティツリーから最後のエンティティが答えになるようデータセット
- MetaQAより大規模で語彙が豊富
- 学習時に出現しないエンティティが推論時に出現

22. 実験
HOTPOTQA
- マルチホップな問題構造だが、回答はエンティティに限らず自由記述もあり
- ここでは回答は候補の文とする
- 回答の上位N個の文内に含まれるかどうかを評価

23. 感想
- BERT以降スパン推定を主流とするオープンドメイン質問応答に関する取り組みを多く
見かけるがマルチホップな質問応答では専用のモジュールは重要と感じた
- モジュールの構造はとても直感に合っており、データ構造も納得感がある
- データaugmentationにも活用できる感じる