O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Nlp2018 参加報告

113 visualizações

Publicada em

言語処理学会第24回年次大会(NLP2018)へ参加した際に、
興味を持った文献と、その他所感の記録用のスライド

Publicada em: Educação
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Nlp2018 参加報告

  1. 1. 言語処理学会第24回年次大会(NLP2018) 参加報告 長岡技術科学大学 自然言語処理研究室 修士1年 西山 浩気
  2. 2. 1. 興味深かった発表 ✓ 未知語・低頻度語処理 ✓ ベクトル表現獲得手法 ✓ 自動評価手法の提案 2. 所感 2 1. 目次
  3. 3. ニューラル対話モデルにおける品詞に基づく 低頻度後処理[原口, 村田] ニューラル機械翻訳における低頻度語処理[今仁, 村上] 日英ニューラル機械翻訳における 未知語への対応[伊部ら] 3 2. 1 未知語・低頻度語処理 興味深かった発表
  4. 4. ニューラル対話モデルにおける品詞に基づく 低頻度後処理[原口, 村田]  従来手法  低頻度語をUNK(ヌルトークン)化  低頻度語を高頻度語へ置換する Copyable Model ✓ 結果として精度は向上しなかった ✓ 今後は出力の多様性評価と新しい置換モデルの構築 4 2. 1 未知語・低頻度語処理 興味深かった発表 残ったUNKを少数のグループへ分類し, 反応を細分化
  5. 5. ニューラル機械翻訳における低頻度語処理[今仁, 村上]  低頻度語を高頻度語へ 置換するための手法  原言語から最も近い単語 をattentionで探し, 対象言語へ辞書で置換  語彙無制限の学習に比べ 翻訳精度を向上させ, さらに計算時間を短縮 5 2. 1 未知語・低頻度語処理 興味深かった発表
  6. 6. 文献情報の多様な要素を考慮した ベクトル表現獲得[米田ら] LSTMを用いた文の分散表現の獲得手法に関する 一考察[福田ら] 深層コード学習による単語分散表現の圧縮[朱, 中山] 6 2. 2 ベクトル表現 興味深かった発表
  7. 7. 文献情報の多様な要素を考慮した ベクトル表現獲得[米田ら]  LINE(Large-scale Information Network Embedding) TransE でグラフ構造の要素 をベクトル化  文書間の関係性を表す ベクトルとして妥当な結果 を獲得  評価が難しいため, 実際にデモを見せていたのが印象的 7 2. 2 ベクトル表現 興味深かった発表
  8. 8. LSTMを用いた文の分散表現の獲得手法に関する 一考察[福田ら]  単純なLSTMのEncoder-Decoderモデル  類似度の高い文は取得できなかった 今後はより文脈を捉えることのできるモデル構築 8 2. 2 ベクトル表現 興味深かった発表
  9. 9.  深層コード学習による単語分散表現の圧縮[朱, 中山]  現在は20万語を表すために約1億のパラメータが必要  モデルの性能を下げずにベクトルの次元削減が目的  単語の分散表現を部分的に共有させる  例えば ✓ manとkingの性別は同じ ✓ dogとdogsの表す生物は同じ 精度低下なく感情分析・機械翻訳で約95%の圧縮 9 2. 2 ベクトル表現 興味深かった発表
  10. 10.  汎用的な文の分散表現を用いた 文単位の機械翻訳自動評価[嶋中ら]  Structured Common Subsequences for Automatic Machine Translation Evaluation[丁ら]  抽出型オラクルを利用した要約の自動評価[平尾ら] ✓ ニューラルネットワークが導入されたことで, 単純なn-gramの一致で測れない評価が必要? 10 2. 3 自動評価手法の提案 興味深かった発表
  11. 11.  汎用的な文の分散表現を用いた 文単位の機械翻訳自動評価[嶋中ら]  NMTが主流になりBLEU等に代わる評価手法が必要  文のベクトルを事前学習しておき, 翻訳文 と 参照文 から翻訳の評価値 を推定する  少ない絶対評価のデータから, 絶対評価との非常に高い相関が得られた 11 2. 3 自動評価手法の提案 興味深かった発表
  12. 12.  参加者が1000人規模に  スポンサー企業の参加も増加・スポンサーイブニング  企業から更に注目されている学会!  精度を詰める研究 未知語処理 ベクトル表現 (どのようにベクトルを作るか) 精度95% から 96%にあげるような研究が印象に残った  企業と提携した研究(特に対話分野) 大量のデータを持つ企業と提携したより深い研究 12 所感

×