ルールベースとヒューリスティック、二つの方法でサイト／ブログから本文抽出する方法

1. 第2回Webスクレイピング勉強会@東京
!
サイト/ブログから
本文抽出する方法
２０１4年8月17日
@dkfj 佐々木拓郎

2. ✦ プロフィール
‣ Webシステムを得意とするSIerで勤務
‣ 最近の仕事はAWS事業の推進
‣ Webスクレイピングして、データマイニングするのが趣味
★ ソーシャル・ネットワーク
‣ blog: http://blog.takuros.net/
‣ twitter: @dkfj
‣ Facebook: takuro.sasaki
‣ SlideShare: http://www.slideshare.net/takurosasaki/
‣ http://www.justyo.co/TAKUROS/
@dkfj
自己紹介： 佐々木拓郎

3. 主にJAWSUG大阪で活動しています
（AWS勉強会）

4. 「Rubyによるクローラー開発技法」
Rubyのクローラー／スクレイピング本を
書きました。8月24日に発売予定です。

5. 本日のテーマ
!
サイト/ブログから
本文抽出する方法

6. 本日のテーマ
!
サイト/ブログから
本文抽出する方法
何故、必要なのか？

7. 一般的なブログの構造

9. ブログ
タイトル
サイド
メニュー

10. ブログ
タイトル
サイド
メニュー
本文
記事
タイトル

11. ブログ
タイトル
サイド
メニュー
本文
記事
タイトル
欲しいのは、本文

12. サイト／ブログの本文抽出の目的
• 書かれている記事を読みたい
• コーパス／解析の元データとして利用したい

13. コーパスとは？
コーパス（corpus）とは、言語学において、自然言語処理の
研究に用いるため、自然言語の文章を構造化し大規模に集積した
もの。構造化では言語的な情報（品詞、統語構造など）が付与さ
れる。コンピュータ利用が進み、電子化データとなった。
!
ウィキペディアより

14. 自然文としてのブログの特徴
• 新聞に較べて、口語に近い単語／フレーズが出現する
• タグやカテゴリーなどのメタデータがあり、分類しやすい
• 投稿者の属性を、ある程度推定できる
ex) 男性／女性、社会人／学生、10代、20代、30代

15. 自然文としてのブログの特徴
• 新聞に較べて、口語に近い単語／フレーズが出現する
• タグやカテゴリーなどのメタデータがあり、分類しやすい
• 投稿者の属性を、ある程度推定できる
ex) 男性／女性、社会人／学生、10代、20代、30代
わりと貴重なデータ

16. 本文抽出の方法
• パーサーを利用して、HTML構造を分析しての抽出
• 自然言語処理を利用して、本文らしさを分析しての抽出

17. HTMLの構文解析
!
• 取得対象のHTMLの構文を分析して、本文を抽出
• いわゆるルール・ベース
ex) HTMLのタグのidが、contentのものを取得

18. はてなブログの場合
entry-contentの中が
ブログ本文

19. HTMLの構文解析
メリット
• 正確に本文を抽出できる
• 比較的、（コンピュータリソースの）負荷が低い
デメリット
• ブログ種別ごとに、開発が必要
• 取得元のHTML構造の変更に弱い

20. nokogoriを使って取得
require 'open-uri'
require 'nokogiri'
!
html = open('http://blog.takuros.net/entry/
20140104/1388788175').read
!
doc = Nokogiri::HTML(html)
puts doc.xpath("//div[@class='entry-content']").text

21. • HTML/XMLの構文解析器（パーサー）
• ほぼデファクトスタンダード
• XPath or CSSセレクタで、HTML中の要素を選択
• UTF-8以外の文字コードを扱う場合は注意
require 'nokogiri'
require 'open-uri'
!
doc = Nokogiri.HTML(open("http://nokogiri.org/"))
doc.css('a').each do ¦element¦
puts element[:href]
end
参照：Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath
http://blog.takuros.net/entry/2014/04/15/070434

22. 自然言語処理を利用した本文抽出
• 文章内から本文らしい部分を抜き出す
• ヒューリスティック（経験則）
• 自分で一から実装するのは、割と大変

23. 本文抽出モジュール
• ExtractContnt (Ruby)
• HTML::Extract (Perl)
• HTML-Feature (Perl)
• ExtractContnt/webextract.py (Python)

24. ExtractContentの実装
• html をブロックに分離、スコアの低いブロックを除外
• 評価の高い連続ブロックをクラスタ化し、クラスタ間でさ
らに比較を行う
• スコアは配置、テキスト長、アフィリエイトリンク、フッ
タ等に特有のキーワードが含まれているかによって決定
• Google AdSense Section Target ブロックには本文が記
述されているとし、特に抽出

25. 自然言語処理を利用した本文抽出
メリット
• ブログ種別に依存しない
• 取得元のHTML変更に強い
デメリット
• 構文解析に比べると、精度が落ちる
• 比較的、（コンピュータリソースの）負荷が高い

26. nokogoriを使って取得
require 'extractcontent'
require open-uri'
!
html = open( 'http://blog.takuros.net/entry/
20140104/1388788175').read
!
content, title = ExtractContent.analyse(html)
puts title
puts content

27. まとめ
• 本文抽出の方法は、主に2種類
• どちらも一長一短あるので、用途に応じて使う
• 正確さを期すならば、HTMLの構文解析
書かれている内容、そのものが必要な場合
• 厳密さがいならいのであれば、本文抽出モジュール
コーパスや解析用の元データとして利用

28. 今日の話は、
この辺に書いています

29. おまけ
キーワード抽出
• 辞書方式
• Mecabを利用した未知語抽出

30. おまけ その２
特徴語抽出
• TD/IDFが一般的
• Yahooのキーフレーズ抽出APIなどもあり
http://developer.yahoo.co.jp/webapi/jlp/keyphrase/
v1/extract.html

31. ご清聴ありがとうございました
後日の質問は、@dkfjまで