LINE DEVELOPER DAY 2017 C-7

2. 人のブラウザでクロールする
Masanobu Tsuruta, Dev-3 Center

3. Background
- LINE Points Ads のサーバサイド開発やってる人です
- 趣味→研究：スクレイピング、ブラウザレンダリング結果の
マイニング
- 常に平和、健全にブラウザの自動操作について思いを馳せ
ています

4. 最近のブラウザ自動操作界隈の話題といえば
- Selenium などの自動テストツールの広がりに恩恵を受け、広
く使われているブラウザに公式に headless mode 的な機能がつ
くようになってきました
- Headless Chrome (Chrome Mac/Linux 59+)
- https://developers.google.com/web/updates/2017/04/headless-chrome
- R.I.P. phantomjs
- Firefox headless mode (beta, Linux 55+, Mac/Win 56+)
- https://developer.mozilla.org/en-US/Firefox/Headless_mode

5. headless mode のテスト以外の使い方
- xvfb などの仮想デスクトップを必要とせず、一般的なユーザ
の PC で以下のような処理ができるようになります
- スクリーンショットの生成
- レンダリング結果の利用
- 文字組をブラウザ側に一任できる
- リンクの座標なども利用できる
- Web アプリケーションの操作の自動化

6. 一方その頃…
- phantomjs を使ったスクリーンショットにその価値の多くを依
存しているサービス達は多くの問題を抱えています
- スクリーンショットの撮影用サーバのコスト…
- スクリーンショットの撮影に数秒かかる…
- 認証が必要なページのスクリーンショットがとれない…
- phantomjs がなくなる…

7. 解決策
- 多くの問題はあるだろうが、エンドユーザの PC で headless
browser が動くなら、それを貸してもらえばいいんじゃない？
- 多くの問題はあるだろうが、無料！
- 多くの問題はあるだろうが、認証が必要なページにもアク
セスできる
＝「人のブラウザでクロールする」ことで
多くの新しい問題を抱えながらも今の問題を解決できる！

8. - 「人のブラウザでクロールす
る」ためのアーキテクチャ
- 要件を満たす環境探し
- 多くの問題について
Agenda

9. 一般的なクローラの
アーキテクチャ
DB
App
Fetcher
Internet

10. 人のブラウザを使う
アーキテクチャ
Internet
DB
App
Personal Computer

11. 今回の要件
- コンテナを使わない
- インストール障壁を上げたくない
- エンドユーザの権限で動作させる
- インストール障壁を上げたくない
- ユーザが日常的に使っているプロファイルを使用したい
- 認証が必要なページにアクセスしたい
- サーバサイドに認証に関わる情報を知らせたくない
- id/password を別ファイルに書かせるとかは面倒

12. 今回の要件
- コンテナを使わない✓
- インストール障壁を上げたくない
- エンドユーザの権限で動作させる✓
- インストール障壁を上げたくない
- ユーザが日常的に使っているプロファイルを使用したい
- 認証が必要なページにアクセスしたい
- サーバサイドに認証に関わる情報を知らせたくない
- id/password を別ファイルに書かせるとかは面倒
- 🤔

13. Headless Chrome はどう？
- Headless Chrome、ユーザプロファイルを使いません
- プロファイルのディレクトリを指定する --user-data-dir オ
プションは headless mode では使えない
- それ以外にも、コンテクストの保存はできない仕様
- https://bugs.chromium.org/p/chromium/issues/detail?id=61793
1
- なので、Chrome を利用する場合はログインの自動化も込みで実装
する必要がありますね。

14. Firefox headless mode はどう？
- まだ beta だけど、 slimerjs を使うと簡単に試せる。
- https://adriftwith.me/coding/2017/04/21/headless-slimerjs-with-firefox/
- -profile オプションでユーザプロファイルを設定できる。
- その上で、ブラウザのコンテクストで任意の JS を実行できる。
- これが将来的に使えるかどうかはちょっと不透明な気はします。

17. 今回の要件
- コンテナを使わない✓
- エンドユーザの権限で動作させる✓
- ユーザが日常的に使っているプロファイルを使用したい✓
- Firefox headless mode なら（今のところ）可能

18. 多くの問題
- 運用上のリスク
- 普通の人は、PC の電源を落としてから寝る…
- コストの多くがユーザにふりかかる
- クローラでよくある法的リスクもろもろがユーザにふりかか
る
- 著作権
- 威力業務妨害
- クロール対象サービスの規約違反
- 契約において、ユーザに対する十分な説明が必要

19. まとめ
- リスクとコストの説明を正しく行った上で、同意のもと、エ
ンドユーザのブラウザを利用してクロールを行う方法を模索
しました。
- 技術的には割と苦しいながらも、可能そうです。
- 多くの問題を考えると、クロール対象サイトとなんらかの契
約を行わない限りはビジネスでは使えなさそうだなと個人的
には思いました。

20. Thank you