O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF

199 visualizações

Publicada em

Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF,Yan Shao and Christian Hardmeier and Jorg Tiedemann and Joakim Nivre, Proceedings of the The 8th International Joint Conference on Natural Language Processing, pages 173–183, Taipei, Taiwan, November 27 – December 1, 2017

Publicada em: Educação
  • -- DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT -- ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... (Unlimited)
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH }
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Seja a primeira pessoa a gostar disto

Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF

  1. 1. Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF 長岡技術科学大学 自然言語処理研究室 西山 浩気 Yan Shao and Christian Hardmeier and Jorg Tiedemann and Joakim Nivre, Proceedings of the The 8th International Joint Conference on Natural Language Processing, pages 173–183, Taipei, Taiwan, November 27 – December 1, 2017
  2. 2. ⚫ POS Tagging と Joint Segmentationのための 中国語 文字ベース学習モデルの提案 ⚫ 構文情報と文字レベルの情報を取り入れるために RNN-CRF モデルを用いた ⚫ データセットのサイズ, ドメインに影響を受け難く 広い分野で最高性能を獲得 ◼ CTB5データセットにおいて, Joint Segmentation タスクで F1 score 94.38 1. 概要 2
  3. 3. ⚫ 単語分割(Segmentation) , 品詞付与(POS tagging) は言語処理における重要な基礎技術 ◼ 後段の処理をするために必須 ⚫ 品詞は単語分割の際に重要な情報となる ◼ パイプライン式と比べ, 同時に推定すると精度が向上[Ng and Low, ’04; Zhang and Clark, ‘08] ◼ 単語分割位置 と 品詞 の同時推定 2.1 Joint Segmentation and POS Tagging はじめに 3
  4. 4. ⚫ ZPar[Zhang and Clark, ‘10] ⚫ 構造化パーセプトロンとBeam Search Decoder ⚫ 同時推定によって最高性能を達成 ⚫ Bidirectional RNN – CRF ⚫ いくつかの系列ラベリングタスクで最高性能 [Huang et al., ’15;Ma and Hovy, ‘16] ⚫ 長期の依存関係や文全体の情報を保存 4 2.2 先行手法 はじめに
  5. 5. この論文では 完全な文字ベースの 単語分割 , 品詞付与を同時に行うモデルの提案を行う 5 2.3 目的 はじめに
  6. 6. ⚫ Baselineモデル 1. 文字Embedding 2. Bi-RNN 3. CRF ⚫ タグは4つ ⚫ Beginning ⚫ Inside ⚫ End ⚫ Single 6 3.1 BiRNN-CRF モデル 提案手法
  7. 7. 3種類の表現で実験 ⚫ N-gram結合 ⚫ 部首と文字画像の特徴 ⚫ 事前学習 7 3.2 文字分散表現 提案手法
  8. 8. 文字のn-gramを連結させる ⚫ 1-gramから順にベクトルを連結 ⚫ 隣接する文字を考慮するベクトル 8 3.2 文字分散表現 N-gram結合 提案手法
  9. 9. ⚫ 漢字は1文字に豊富な特徴を持つ ◆ 银(silver) ◆ 铁(iron) 钅(gold) ◆ 针(needle) ⚫ CNNで部首の特徴を抽出し, ベクトル化 9 3.2 文字分散表現 部首と文字画像の特徴 提案手法
  10. 10. ⚫ 文字ごとに Glove[Pennington et al., ‘14]で学習 ◼ 未知語に対してはランダムなベクトル付与 10 3.2 文字分散表現 事前学習 提案手法
  11. 11. ⚫ Chinese Treebank[Xue et al., ‘05] ◼ 9.0 (CTB9) 様々なドメインの文書が含まれるデータセット ◼ 5.0 (CTB5) CTB9 のニュース記事を取り出したデータセット ⚫ Universal Dependencies の中国語セクション (UD Chinese) ◼ 一般的なタグ (UD1) ◼ 言語依存のタグ (UD2) 11 4.1 データセット 評価
  12. 12. ⚫ 部首と文字画像の特徴ベクトル ◼ Kangxi Dictionaly (康熙字典)  214 の異なる部首  中国語ではない文字,登録されていない部首を持つ漢字 は新たに部首ベクトルを作成 ⚫事前学習ベクトル ◼ Wikipedia ◼ Sogou News Corpora(Sogou CS) で学習 12 4.2 実験設定 評価
  13. 13. ⚫ 1-gram と比べ2-gram以上の性能向上 ◼ 隣接文字情報は文脈情報獲得に有用 ⚫ 3-gram程度が適切 ◼ それ以上は学習が不足 13 4.3 n-gram結合ベクトルの評価 F1値による文字ベクトルの評価
  14. 14. ⚫ 3-gram に部首・画像の情報を 加えることで性能向上 ⚫ 訓練データの少ないUDでは特に有効 14 4.3 部首ベクトルの評価 F1値による文字ベクトルの評価
  15. 15. ⚫ Gloveを用いた事前学習 ⚫ 1-gram(1hot)と比べると有効 ⚫ 3-gram, 部首情報と比べると性能は下がる ⚫ 訓練データが少ないUDでは, 精度の底上げに寄与 15 4.3 事前学習ベクトルの評価 F1値による文字ベクトルの評価
  16. 16. ⚫ 3つの分散表現のアンサンブル学習が 全データセットで有効性を示す ⚫ 特に小規模データセットで有効 ⚫ OOVのRecallが高く, ロバスト性が高い 16 4.4 従来手法との比較 評価
  17. 17. ⚫ 全てのドメインで従来手法を上回る ⚫ ニュース記事では 若干の精度向上 ⚫ Web記事等で 精度向上に寄与 17 4.5 複数のドメインでの比較 評価
  18. 18. ⚫ 文字ベースの BiRNN-CRFを用いた Joint Segmentation,POS Taggingのためのモデル提案 ⚫ 文字の分散表現方法3種を提案 ◼ 全てをアンサンブル学習させた場合が最高性能 ◼ 従来手法に比べ, 複数のドメインで有効性を示す 特に, ✓ Web記事などの崩れた表記 ✓ 訓練データの少ない場合 に有効 18 まとめ

×