【初心者向け】Pythonで手軽に始める文章校正というイベントで登壇した発表資料です。 https://churadata.connpass.com/event/234308/

1. 清原弘貴@hirokiky
簡単な算数で
できる文章校正
（ホントに）

2. この発表でお伝えしたいこと
自然言語処理って、気軽に楽しめます！

3. できるようになること
同音異義語の間違いを校正する！

4. たとえば
これは以外な結果になりました
→ 意外

5. でも難しいんでしょう？
形態素解析
コーパス
確率的LSA
Ngram言語モデル
Back-offスムージング
LSTM
BERT
︙

6. でも今日だけは違います！
Pythonと足し算が分かればOKです
理解できることを優先。説明の正確さは優先度低め。
かつ延長線上には本格的な自然言語があるようにする。

7. Pythonについて知っておいてほしいこと
● print
● 足し算
● if、for
● ファイルオープン
● 辞書
● リスト、集合
● import

8. 清原弘貴@hirokiky
簡単な算数で
できる文章校正
（ホントに）

9. お前だれよ
@hirokiky（清原弘貴）
株式会社ゼンプロダクツ代表取締役
Shodo（shodo.ink）という
AI校正、記事の執筆プラットフォームを開発中！
無料で使えます。

10. 話の展開
● 同音異義語の校正を「どう作るか」
● 前提知識をサクッと紹介
○ 形態素解析
○ N-gram
○ コーパス
● 環境の準備方法を説明
● 小さなプログラムで遊ぼう
● 校正プログラムを書こう！
○ 同音異義語のチェック対象を見つける
○ コーパスから同音異義語を学習する
○ 学習した内容を元に校正する
● 今後の展望や現状足りないこと
○ 漢字の表記を寄せる
○ 賢い言語モデルを使う

11. 同音異義語の校正をどう作るか

12. 同音異義語の校正を「どう作るか」（1）
「これは以外なものでした」
チェック候補

13. 同音異義語の校正を「どう作るか」（2）
イガイ
● 以外
● 意外
● ︙

14. 同音異義語の校正を「どう作るか」（3）
● 以外︰20
● 意外︰98
● ︙
こっちのほうが
それっぽいぞ！

15. 同音異義語の校正を「どう作るか」
● 校正のチェック対象になる言葉を見つける
● 同音異義語の候補を一覧にする
● 各候補の点数を、文脈などを考慮して計算する
● 現在の値と比較して候補の値が良ければ校正する

16. 前提知識をサクッと紹介

17. 前提知識をサクッと紹介
形態素解析︰
分かち書きして「かな」や「品詞」を教えてくれる
● これ（コレ） - 代名詞
● は（ハ） - 助詞
● 以外（イガイ） - 名詞
● な（ナ） - 助動詞
● もの（モノ） - 名詞

18. 前提知識をサクッと紹介
N-gram︰
分かち書きしたのを2個（N個）ずつまとめたもの
● (“これ”, “は”)
● (“は”, “以外”)
● (“以外”, “な”)
● (“な”, “もの”)
● ︙

19. 前提知識をサクッと紹介
コーパス︰
学習とかに使う日本語文のデータ
今回はWikipediaのテキストを文（センテンス）ごとに分けたもの。
Wikipediaにある日本語はそれなりに確からしいと考えて勉強させて
もらう。

20. 環境の準備方法を説明
sudo apt install mecab libmecab-dev
pip install fugashi unidic-lite

21. 小さなプログラムで遊ぼう

22. DEMO
https://github.com/zenproducts/chura-22

23. 校正プログラムを書こう

24. 校正プログラムを書こう！（学習1）
コーパスを読んでN-gramをカウントした辞書を作る
{
('システム', '運用'): 7,
('運用', '分野'): 1,
('分野', 'で'): 241,
('で', '主に'): 30,
}

25. 出現回数で校正する方法
(“意外”, “な”) のカウントは大きくなり、
(“以外”, “な”) はほぼゼロのはず。
カウントの差が明らかに大きいなら校正エラーとできる。
※ 「以外なら」は (“以外”, “なら”) となるので区別できる

26. 校正プログラムを書こう！（学習2）
同音異義語の一覧を作る
{
'タイゲン': {'体現', '体言', '大言'},
'ブンリ': {'分離', '文理'},
'キソ': {'基礎', '起訴'},
'ナンセイ': {'南征', '南西'},
}

27. 今回、同音異義語の判定をする対象
● 2文字の言葉
● 言葉に漢字が含まれる
● 固有名詞ではない
内蔵、以外、意思、生産など

28. “これは以外なものですね”
これ は 以外 な もの です ね
以外 → 以外 or 意外
(“以外”, “な”) はコーパスに0回
(“意外”, “な”) はコーパスに41回
同音異義語間違い！ 以外→意外を検知

29. DEMO
https://github.com/zenproducts/chura-22

30. 今後の展望や現状足りないこと

31. 現状足りないこと
● 単なるカウントなので精度が悪い
● 後ろの言葉しか見てないので文脈を拾いきれない
● 漢字の表記ゆれや旧字などに対応できていない
● 出現頻度がかなり低い言葉も候補にしてしまっている
● ミスがほとんど起こらない同音異義語もチェックしてしまう

32. 今後の展望
● チャレンジしてみよう
○ N-gramを3にする
○ 後ろだけでなく前後で判定する
○ コーパスを色々と変えたり手元にあるテキストを使ってみる
● もっと興味をもったら
○ nltkを使う
○ より良い言語モデルを使う
○ 確率的LSAなどを組み合わせる
○ 優先度の高い同音異義語だけチェックする

33. まとめ
自然言語処理は楽しい！

34. でも実際はこの先が難しく興味深い。自前が大変なときは
Shodoなら無料から文章校正が使えます
https://shodo.ink/

35. 興味を持った方は
Shodoというスタートアップがあります。
自然言語処理の情報も発信してるので、
ぜひフォローして応援してください。
https://twitter.com/hirokiky/