スクレイピングその後
•
2 gostaram•4,550 visualizações
スクレイピングに関する発表 http://www.slideshare.net/hasegawatomoki/ss-37424274 の続編です。
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Semelhante a スクレイピングその後
Semelhante a スクレイピングその後 (20)
Mais de Tomoki Hasegawa
Mais de Tomoki Hasegawa (20)
スクレイピングその後
- 2. 自己紹介 • 長谷川智希 • デジタルサーカス（株） 副団長CTO • 趣味: Web開発, iOSアプリ開発 • その他趣味: レンタルカート, 電子工作(mbed) … @tomzoh TOMZOH
- 3. デジタルサーカス（株） • Webサイト開発（PHP, CakePHP, Drupal） • スマホアプリ開発（iOS, Android) • 自社サービス （http://appbuilder.jp）
- 6. スクレイピングとは これを… こうする array( (int) 0 => array( 'is-fba' => false, 'shipping' => (int) 257, 'price' => (int) 2001, 'condition' => '中', 'subcondition' => '可', 'seller' => array( 'name' => 'lambdas', 'merchant-id' => 'A3VELMD24S0ERO' ), ),
- 8. 手順紹介 1. HTMLを取得する … file_get_contents(), curl 2. HTMLを整形する … Tidy or not 3. HTMLをパースする … HTMLScraping 4. 情報を取り出す … SimpleXMLオブジェクト
- 13. スクレイピングその後
- 14. スクレイピングその後 • LT後のディスカッションや公開したスライド への反応としていくつかライブラリ教えて頂 いた。 • phpQuery • Guzzle (Goutte) • QueryPath • WebDriver
- 15. phpQuery
- 16. phpQuery • 「phpQuery is a server-side, chainable, CSS3 selector driven Document Object Model (DOM) API based on jQuery JavaScript Library.」 • DOM要素をjQuery風に選択するPHP用ライブ ラリ。 https://code.google.com/p/phpquery/
- 17. phpQuery こう使う • composer.jsonを一生懸命書けばComposerでインストール可能。 • jQueryぽく要素を選択。かなりのjQueryぽさ。強烈。 • 「<meta charset="utf-8">宣言だけど実際はSJIS」「閉じタグ無しやタ グ入れ子は当たり前」「IDが重複してる」というエグいHTMLに対して 全体をUTF-8に変換してあげればパースできた。 • SJISはNGぽい。 • クセの強い書き方に慣れれば使い勝手良さそう。 !!
- 18. QueryPath
- 19. QueryPath • 「QueryPath is a PHP library for manipulating HTML and XML. Think of it as jQuery for the server.」 • HTMLやXMLをjQueryの様に扱うPHP用ライブ ラリ。 http://querypath.org/
- 20. QueryPath こう使うらしい • インストールはComposerでらくちん。 • jQueryぽく要素を選択。 • 前出のエグいHTMLはライブラリ内部でエラーが出てパースできなかった。 • マンチェスターユナイテッド（日本）の試合日程ページ(*1)もパース出来ず…。 • <html><head><title>foo</title></head><body></body></html>みたいな のはパースできる。（foo → タイトル でもパースできるけど化ける） • 今回はあきらめた。 http://www.manutd.jp/FixturesAndResults/UnitedFixturesandResults.aspx*1
- 21. Guzzle (Goutte)
- 22. Guzzle (Goutte) • 「Guzzle is a PHP HTTP client that makes it easy to work with HTTP/1.1 and takes the pain out of consuming web services.」 • あれ？HTTPクライアントライブラリ？ • 関連してGoutteというのが見つかった。 • Symfony, Zend Framework のコンポネントを使った ラッパライブラリ。Guzzleも使ってる模様。 グ ー ト https://github.com/fabpot/goutte
- 23. Goutte こう使う • インストールはComposerでらくちん。 • XPathまたはCSSセレクタでノードを選択可能。どちらも使えるの がポイント高。 • eachに無名関数を渡すナウい感じ。 • 前出のエグいHTMLでも前処理無しにそのままパースできた。 • 使い勝手良さそう。これを使い込んでみようと思った。
- 24. WebDriver
- 25. WebDriver • 「PHP bindings for Selenium WebDriver 」 • 画面表示の無いブラウザでWebページを表示 し、要素を選択しようというアプローチ。 • ちゃちゃっと入れてちゃっと動かすつもりでい たら結構大事だったので今回はあきらめた。 https://code.google.com/p/php-webdriver-bindings/ (php-webdriver-bindings)
- 26. まとめ • スクレイピングライブラリ、いろいろある。 • 対象によって使い分けると良いと思う。 • 個人的にはGoutteイチオシ。 • Composerでかんたんインストール • HTMLへの強度の高さ • CSSセレクタ & XPathセレクタの両方が使える。 • 情報くださった皆様ありがとうございます！