Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a Paraphrasing 4 Microblog Normalization
Semelhante a Paraphrasing 4 Microblog Normalization (7)
Paraphrasing 4 Microblog Normalization
- 1. Paraphrasing 4 Microblog Normalization 長岡技術科学大学 自然言語処理研究室 高橋寛治 Ling, W., Dyer, C., Black, A. W., & Trancoso, I. (2013). Paraphrasing 4 Microblog Normalization. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, (October), 73–84. 文献紹介 ２０１６年７月８日
- 4. なぜ正規化に取り組むか？ • 見ての通り、砕けた文を取り扱えない • 略語 Øyea, inkw -> yes, I know Øimma -> I am going to (伊马(yi ma)と認識される) Paraphrasing 4 Microblog Normalization2016/7/8
- 7. 機械翻訳の傾向 •機械翻訳の傾向 Ø<e, f>: eが異表記を含んでいても、fは正規形にな りやすい •表記ゆれ以外 Ø言語依存 Ø英語だとiknw, imma Paraphrasing 4 Microblog Normalization2016/7/8
- 8. 対訳コーパス •著者らが以前の研究で作成したコーパス Ø英語と多言語の対訳コーパス Øコーパスの整形は省略 Ø 𝑝" "#$ % u英語の投稿 o un 個の換言 （機械翻訳システム） Paraphrasing 4 Microblog Normalization2016/7/8
- 9. 正規化のモデル • 文から句へ • アラインメント(Dyer et al.,2013のfast alignment) Ø点線は翻訳、実線は正規化 • 句のテンプレートによる抽出 Øgo 4, go for Paraphrasing 4 Microblog Normalization2016/7/8
- 10. 句の抽出 • 句の素性 Ø句のペア<o,n> Ø𝑓 𝑛|𝑜 = + %,- + - ØC(n,o)はoが正規化された回数 ØC(o)はoが抽出された句のペアに出現する回数 Paraphrasing 4 Microblog Normalization2016/7/8
- 11. 句から文字 •cat, catt, kat, caaat •句単位で処理 Ø<start>と<end> Ø文字はスペース区切り •ルールでもいくつか処 理 Paraphrasing 4 Microblog Normalization2016/7/8
- 13. 単言語での異表記の学習 •Brown clusterを利用(k=3000) Ø○：never, neverrrr, neva, nevahhh Ø×：gladly, glady •有効比巡回グラフ(DAG) Øwi→wjに線を追加 uwi->wjにデコードされる uかつ、wiよりwjが高頻度 Paraphrasing 4 Microblog Normalization2016/7/8
- 14. 実験 • 英中マイクロブログ • 各正規化を比較 • Mosesで訓練 Ø並び替えはMSD reordering model Ø言語モデルは5-gram ØMERTでチューニング • BLEU-4で評価 Øいくつかの翻訳機でも評価 Paraphrasing 4 Microblog Normalization2016/7/8
- 15. 結果 • 文字ベースのモデルが性能向上に寄与 • Mosesで下がっているのは、Weiboによるもの • 例 ØLookinをlooking, nutzをnutsなど Øpeaceofをpeace of Paraphrasing 4 Microblog Normalization2016/7/8