"Programming Collective Intelligence" reading party, Chapter 6: Document Filtering

1. 集合知プログラミング Programming Collective Intelligence (Ch.6 ドキュメントフィルタリング) 2010/02/13 id:shiumachi

3. ベイジアン分類器

4. フィッシャー法

5. ベイジアン分類器のメリット・デメリット

6. 形態素解析

8. P(B|A):事象Aが起きた後での事象Bの確率、すなわち条件つき確率

9. P(A) > 0 のとき、以下の式が成り立つ。 P(B|A) = P(A) P(A|B)P(B) 参考:http://ja.wikipedia.org/wiki/ベイズの定理

11. P(B): 事象 A とは関係なく 事象Bが発生する確率(事前確率)

12. P(B|A):事象Aが起きた後での事象Bの確率、すなわち条件つき確率(事後確率)

13. P(A|B):事象Bが起きた後で、事象Aが起きていた確率(尤度という)

14. つまりベイズの定理は、「事後確率は、事前確率と尤度、事象Aが発生する確率が分かっていれば求めることができる」という定理。

16. このとき、「『ある特徴を持つときにあるクラスに属する確率』は、『あるクラスに属する確率』と『あるクラスだった場合にある特徴を持っている確率』、『ある特徴を持つ確率』が分かっていれば求めることができる」となる。 P(C|F) = P(F) P(F|C)P(C)

21. 事前に「スパムメールにその単語が含まれている確率」「スパムでないメールにその単語が含まれている確率」を学習させておく。

22. これにより、「ある(複数の)単語が含まれているときにスパム(あるいはスパムでない)確率」を求めることができる。

23. 確率が高い方に分類する。

25. それぞれの事象が発生する確率をp1,p2,...とすると、統計量 χ 2 は以下の式で表される。 ( つまりカイ 2 乗分布となる ) χ 2 = - 2 Σ ln(p i ) i = 1 k

27. フィッシャーの式から、あるカテゴリに入っている確率が低い特徴があればあるほど χ 2 が大きくなる。つまり、逆カイ 2 乗分布における確率が低くなる。 引用:http://en.wikipedia.org/wiki/Inverse-chi-square_distribution

31. 日本語を特徴として扱うには必須 昨日はみんなでカレーを食べたが、今ひとつだった。 ↓ 昨日 は みんな で カレー を 食べ た が 、 今ひとつ だっ た 。

32. Thank you !