Character level CNN [CNNで自然言語処理]
•
5 likes•4,785 views
the slide for Developers Summit 2018 summer.
Recommended
More Related Content
What's hot
What's hot (20)
Character level CNN [CNNで自然言語処理]
- 2. About Me ・大学/大学院では理論物理学の研究をしてました。 超弦理論（量子論 /素粒子論と一般相対性理論の統一を目指す学問）の研究 →10次元時空に飲み込まれそうだったので現実世界（ 4次元時空）に逃げてきました。 ・シルバーエッグ テクノロジーに所属 レコメンドアルゴリズムの R&Dをやってる。 (入社時はWeb Developer) http://members.wolfram.com/jeffb/visualization/stringtheory.shtml ・趣味：プログラミングと情報幾何学 ・好きな言語: Python ・GitHub: https://github.com/Tdual
- 9. 例えば、テキスト分類問題
- 11. データセット Amazonのカスタマーレビュー レビューと５段階評価 言語：日本語 合計：18052本のレビュー 5つ星 ＝ ポジティブ 9026本 1つ星と2つ星 ＝ ネガティブ 9026本
- 12. Character Level CNN ・テキスト分類をCNNでやってる。 ・文書の文字（Character）の並びしか見てない。（最小単位が文字） ・オリジナル論文 Xiang Zhang, Junbo Zhao, Yann LeCun: Character-level Convolutional Networks for Text Classification (https://arxiv.org/abs/1509.01626) だが、オリジナルのアーキテクチャでは上手くいかなかったので別のアーキテクチャ を試した。 Joshua Saxe, Konstantin Berlin: eXpose:A Character-Level Convolutional Neural Network with Embeddings For Detecting Malicious URLs, File Paths and Registry Keys(https://arxiv.org/abs/1702.08568)
- 13. 最小単位が文字のメリット/デメリット メリット ・前処理は文字に分割するだけ（日 本 語 の 様 な 分 か ち 書 き が 必 要 な い ） ・どんな言語（英語・日本語・中国など）にもそのまま対応できる ・誤字脱字・タイポ・変換ミスが多い文書でも有効（レビュー ,チャットなど） ・文書じゃない物にも適応できる（ URL, Tex, プログラミングコードなど） ・データが多くても単語の語彙の様に次元が大きくなることはない デメリット ・単語に比べて粒度が小さいので学習に時間がかかる
- 15. ①文字を埋め込みむ（２） ・one-hotベクトルじゃなくて、埋め込み表現（分散表現）にしたいよね。 ・埋め込み方は？ それもニューラルネットワークに学習させよう。 ・埋め込み層を用意する 。 a b c 文字数 × 埋め込み次元 行列 埋め込み 対応する文字の行ベクトルを選んで更新する。
- 16. ②カーネルサイズが違う複数のCNNに入れて特徴を出力(1) filter数:256 カーネルサイズ: 1×2, 1×3, 1×4, 1×5 (stride 横1,縦1)
- 17. ②カーネルサイズが違う複数のCNNに入れて特徴を出力(2) this is a pen. → t h i s i s a p e n . 1×2 1×3 1×4 1×5 解釈 様々なWindowで文字のCooccurrence(共起性)を学習してる
- 19. TensorFlowで実装
- 23. 他のモデルとの比較 Random Forest Logistic Regression CNN LSTM Char Level 0.861 0.903 0.921 0.900 Word Level 0.882 0.902 0.917 0.918 accuracy 使用したコードはここ https://github.com/Tdual/char_level_cnn
- 26. word level CNNで同じことをやる 変えた文字の数と精度 50文字ですでに精度が 0.5 character level
- 27. まとめ ・Character level CNNは誤字脱字・タイポ・変換ミスに強い → SNSメッセージ、チャット、レビューなど最適 （しかも分かち書き不要） ・なんでもかんでもMeCabなどで分かち書きをするのではなくて、 別の方法も検討してみる価値あり
- 28. Thank you!