Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Pythonで自然言語処理
Semelhante a Pythonで自然言語処理 (15)
Mais de moai kids
Mais de moai kids (20)
Último
Último (8)
Pythonで自然言語処理
- 2. 自己紹介 • 基本Java畑の人間です。 • PythonはNLTKを使うために学び始めました。 まだ簡単なバッチくらいしか作れません。 • 「elif」は略しすぎだと感じている。 2
- 3. 今日触れる内容 • Pythonを用いて自然言語処理（Natural Language Processing : NLP）の片鱗を味わう。 - 自然言語処理：機械で人間様の話す／書く 言葉を解析し てよしなにする処理全般を指す言葉 • Pythonの深い構文的な話はあまりしません （できません） 3
- 4. 今日触れるライブラリ • MeCab • KyTea • NLTK • Hadoop (Hadoop Streaming) 4
- 5. 作成したデモアプリ • mecab.py • 自然文をMeCabを用いてわかち書き • kytea.py • 自然文をKyTeaを用いてわかち書き • markov.py • Markov過程に基づいて文章を自動生成 • freq.py • n-gramモデルに基づいて頻度の数え上げ • map.py / reduce.py • freq.pyをHadoop上で動くように展開 • (bmc_sample.py) • 2-gramコーパスから分布類似度を算出する • Baiduコーパスダウンロード広場で配布されているもの http://www.baidu.jp/corpus/ 5
- 6. [lib]MeCab(めかぶ) • 日本語の自然文を形態素解析するライブラリ http://mecab.sourceforge.net/ • たぶん世界で一番有名で一番使われている • Macのspotlightでも使われているとか • C言語で実装されているが、各種言語へのバイ ンディングも存在する（Python/Perl/Ruby/Java） 6
- 7. MeCab実行例 $mecab 桑野さんがまた醜態をさらす 桑野 名詞,固有名詞,人名,姓,*,*,桑野,クワノ,クワノ さん 名詞,接尾,人名,*,*,*,さん,サン,サン が 助詞,格助詞,一般,*,*,*,が,ガ,ガ また 接続詞,*,*,*,*,*,また,マタ,マタ 醜態 名詞,一般,*,*,*,*,醜態,シュウタイ,シュータイ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ さらす 動詞,自立,*,*,五段・サ行,基本形,さらす,サラス,サラス EOS 7
- 8. Python参考コード [mecab.py] import sys import MeCab import nltk if __name__ == "__main__": file = sys.argv[1] #read file raw = open(file).read() #ファイルからテキストを全行読み込み #split word m = MeCab.Tagger("-Ochasen") #MeCab初期化 node = m.parseToNode(raw) #形態素解析実施 node = node.next while node: print node.surface, node.feature #解析結果の語と品詞を標準出力 node = node.next 8
- 9. [lib]KyTea(きゅーてぃー) • 京都大学のGraham Neubigさんが中心となって 開発された形態素解析ライブラリ http://www.phontron.com/kytea/ • 教師データを元に単語の分割と発音推定を行 う • 日本語と中国語のモデルデータも公開されて いる。今回は中国語を使ってみる。 9
- 10. KyTea実行例 $$ python kytea.py ~/kytea/chinese.raw ~/kytea/model/lcmc-0.1.1-1.mod | less ----- origin ----- 初音未来是CRYPTON FUTURE MEDIA以Yamaha的VOCALOID 2语音合成引擎为基础 发贩售的虚 拟女性歌手软件。2007年8月31日发售，原只可用于Microsoft Windows，2008年3月19日随 CrossOver Mac 6.1发表而可用于Mac OS X。 ----- morphology ----- 初/chu1_ 音/yin1_ 未来/wei4_lai2_ 是/shi4_ CRYPTON/C_R_Y_P_T_O_N_ FUTURE/F_U_T_U_R_E_ MEDIA/M_E_D_I_A_ 以/yi3_ Yamaha/Y_a_m_a_h_a_ 的/de5_ 10
- 11. Python参考コード [kytea.py] import sys import commands if __name__ == "__main__": file = sys.argv[1] model = sys.argv[2] #read file raw = open(file).read() print "----- origin -----" print raw #元データの表示 print "----- morphology -----" #split word c = 'kytea -model ' + model + ' < ' + file result = commands.getstatusoutput(c) #kyteaのコマンドを実行 for r in result[1].split(): #わかち書き結果の表示 print r 11
- 12. [lib] NLTK(えぬえるてぃーけー) • Python向けに提供されている自然言語処理関 連の処理全般を内包したライブラリ http://www.nltk.org/ • 本も出ている。これから買うなら日本語訳版 がオススメ 12
- 14. NLTK実行例(Markov連鎖) [markov.py] #trigram(3-gram)なワード群を元にMarkov過程に基づいてそれらしい文章を自動生 成 def markovgen(words,length): text = nltk.Text(words) #ワード群をToken化 gen = text.generate(length) #trigram/Markov過程に基づいてランダムに自動生成 print gen 14
- 15. 生成データの一例 #さだまさしの全歌詞をコーパスに自動生成 #http://www.cai-insect.jp/sada/ 去年 の クリスマス ・ キャロル が 聞こえる だろ う / ちいさな しあわせ や 不幸せ なんて / 自分 に 疲れ た あげく 人 に なる とき / やはり パパ は 今 物語 を 伝える / それ で 大人 に なっ た 夢 なら ば / わたし を 残し て 行く 訳 じゃ ない ん じゃ ない か / 誰 か の 傷 を 恐れ て い ます / そう 丁度 春 の 朝焼け / 100 万 羽 の フラミンゴ が 一斉 に 翔び 発つ 鳥 / Bye Bye Guitar 俺 15
- 16. 生成データの一例 #さだまさしの全歌詞をコーパスに自動生成 #http://www.cai-insect.jp/sada/ 去年 の 冬 前 に / 永遠 に しあわせ で あり ます よう に / 教え られ て た 藤 色 の 自分 を 傷つけ / わけ も なく 引き返す に も 届か ぬ が / 心 な しか ふるえ チケット に すがる 可愛い 人 / あなた の 空 を 飛ぶ 影 / 盂蘭盆会 精霊 船 の 舳先 に ひらり / 留まれ り 爆竹 に 嗚咽 の ごとき 声 挙げ て / ひしめく 船出 別れ の 時 を / 失 くし た 訳 じゃ ない ん だ そう だ 16
- 17. [参考]Markov過程 • Wikipediaに項があります http://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AB%E3%82%B3%E3%83%95%E9%81%8E %E7%A8%8B • 確率過程の一つ。それ以上の説明はこの場で は割愛。 • 卑近な例だと自動文章生成bot、自動要約bot などでよく用いられる。 例: http://gigazine.net/index.php?/news/comments/20090709_markov_chain/ 17
- 18. NLTK実行例(数え上げ) [freq.py] #ワードをn-gramモデルに基づいて解析＋出現頻度の数え上げ def ngrams(words, ngram, limit): ngrams = nltk.ngrams(words, ngram) #ワード群をn-gram化 fd = nltk.FreqDist(ngrams) #数え上げ result = {} for f in fd: #FreqDist構造を普通のdictionaryに変換（非クール) r = "" for n in range(0, ngram): if n > 0: r += " " r += f[n] result[r] = fd[f] c = 0 #出現頻度多い順にソートして標準出力 for k,v in sorted(result.items(), key=lambda x:x[1], reverse=True): c += 1 if limit > 0: if c > limit: break print k + "t" + str(result[k]) 18
- 19. 生成データの一例 #さだまさしの全歌詞をコーパスに、3-gramの出現頻度上位１０件を出力 #http://www.cai-insect.jp/sada/ $ python freq.py text/sada_lylic.txt 3 10 て い た 148 の よう に 88 の 中 で 75 がんばら ん ば 63 て 来 た 59 に なっ て 58 に なっ た 56 て き た 54 いつ まで も 50 だろ う か 50 19
- 20. [参考]n-gram言語モデル • Wikipediaに項があります （ただし正確な記述とは言いがたい・・） http://ja.wikipedia.org/wiki/%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2#N-Gram • 「ある文字列の中で、N個の文字列または単語 の組み合わせが、どの程度出現するか」 を調べるための言語モデル。 • 検索のインデクシング等によく使われる 20
- 21. 分布類似度の算出 [bmc_sample.py] #2-gramのコーパス（freq.pyの解析結果のようなもの）を用いて #ある単語と分布類似度が高いワード上位10件を抽出 #Baiduのサイトから落としてきたプログラムなのでソースの中身の解説は割愛。 $ python bmc_sample.py text/2gram.txt 愛 生命 0.107754 (L:ない L:この R:について L:短い L:始め L:たとえば L:強い L:あゝ R:あり L:小さな) 夢 0.089521 (L:ない L:いつか L:大きな L:この R:という L:から R:だけ L:速く L:ゆく L:なつかしい) 恋 0.083796 (L:この L:ない R:ちゃ L:短い R:あり L:あの R:なんて L:もう L:いつか R:なら) 君 0.079821 (L:ない R:だけ L:いつか R:という L:返す L:咲く L:そして L:から L:ゆく L:陽射し) 心 0.077502 (L:この R:だけ L:ない L:強い L:あゝ L:続ける R:について L:から L:大きな L:咲く) 海 0.076430 (L:この L:いつか L:大きな L:ない L:から L:あの L:けれど L:てる) 町 0.071117 (L:この L:ない L:大きな L:あの L:小さな R:だっ R:それ L:てる) 人 0.070258 (L:ない R:だけ L:いつか R:という L:この L:植える L:ゆく L:違う R:として R:それぞれ) まま 0.064601 (L:この L:ない L:あの R:だっ R:この) あなた 0.060459 (L:ない R:だけ L:いつか L:から L:通る L:速く L:ゆく L:本当は L:たとえば L:違う) 21
- 23. [lib]Hadoop(はどぅーぷ) • 世間では話題になってるらしいアレ http://hadoop.apache.org/ • 本も出ている。 • Hadoop Streamingを用いることでPythonでも Map/Reduceロジックが書ける 23
- 24. Hadoop Streaming コマンド例 $hadoop jar ${HADOOP_HOME}/contrib/streaming/hadoop-0.20.x-streaming.jar -mapper "python map.py" -reducer "python reduce.py" -input /python/input/ -output /python/output -mapper:Mapタスク -reducer:Reduceタスク -input:解析対象のデータフォルダ/ファイル -output:解析結果の出力フォルダ ※他にもJobConfに設定できる内容はだいたいオプションにある。 http://hadoop.apache.org/common/docs/r0.20.2/streaming.html#Streaming+Options+and+Usage 24
- 25. Map参考コード [map.py] if __name__ == "__main__": for line in sys.stdin: #標準入力から１行づつ読み込み line = line.strip() words = parse(line) fd = nltk.FreqDist(words) for f in fd: print f + “¥t” fd[f] #標準出力にKey/Valueのペアを出力 25
- 26. Reduce参考コード [reduce.py] if __name__ == "__main__": word2count = {} for line in sys.stdin: #標準入力からKey/Valueを取得 line = line.strip() word, count = line.split('t', 1) try: count = int(count) word2count[word] = word2count.get(word, 0) + count exceptValueError: pass sorted_word2count = sorted(word2count.items(), key=itemgetter(0)) for word, count in sorted_word2count: print '%st%s'% (word, count) #標準出力にKey/Valueのペアを出力 26
- 27. まとめにかえて • NLTKがあるお陰で自然言語処理関連の実装を する時はPythonで書くのが楽です。 - パフォーマンスやアルゴリズムのチューニングは別途必 要そう。お試しとしては良い。 • 仕事で使う機会がありそうであれば思い出し てあげてください。 27