1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2017年3月15日
岡田 幸大
Presto in Y!J

2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
• 岡田幸大, #新卒2009
• github: @yuokada
• Like: #golang #python
• よく使うY!のサービス: #ヤフオク

3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
• 2009/07~2013/03
コメント機能 BE開発
• 2013/04~2016/09
Web ビーコン 運用・開発
• 2016/10~
Presto Cluster 構築・運用

4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
アジェンダ
• Yahoo! Japanのマルチビッグデータ
• Prestoとは? - 事例紹介

5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
サービス数は100以上
メディア、コマース、金融・決済など、幅広くサービスを展開

6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
データのバラエティも100以上
検索キーワード、ビュー/クリック、コンテンツ、購買情報、など、
多様なデータを活用可能

7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
8
月間 674億PV / 1日9,000万UB
PC + その他
281億 PV
Smart Phone
393億 PV
FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html

8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
NoSQLHadoop RDB
7,000 nodes
150PB
800
DBs
2,000
nodes
Object
Storage
1,500
nodes

9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
様々なPFにあるデータを
インタラクティブに分析する必要がある
これらのマルチビッグデータを活かすには?

10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
そこで選んだのは、

11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
• Facebook製OSS
• 分散クエリエンジン
• インタラクティブなクエリに
最適化されたアーキテクチャ

12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
Presto Users
• Facebook
• Netflix
• Amazon
• etc
https://github.com/prestodb/presto/wiki/Presto-Users

13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
source: https://prestodb.io/overview.html

14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
✅ Pros
• コネクターを追加することで
多種多様なデータPFと接続出来る
• データをメモリ上で処理するため
クエリの実行が高速
• ANSI SQL サポート
• UDF(ユーザー定義関数) サポート
https://prestodb.io/docs/current/connector.html

15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
• データがメモリから溢れた場合、
クエリの実行に失敗
• ノードの障害時もクエリが失敗
• 失敗時、自動での再実行無し
❌ Cons

16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
• Object Storage上のログの分析
• 障害発生時の調査を目的
• ログの形式はjson+gz

17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例

18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
このクラスターを構築/運用したことで
Prestoの課題が見えてきた

19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
• 原因
1. クエリ実行の度にファイルを取得
2. jsonフォーマットの場合、
ファイル全体を取得
課題: ネットワーク帯域の圧迫

20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
もちろん、コミュニティと協力して!
さらに、Pull-Requestで！
この課題をどう解決するのか？

21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
まとめ
• インタラクティブなクエリはPresto
• クラスター運用するための課題は
まだまだ沢山
• 課題を解決するためにヤフーは
積極的にOSSへコントリビュート

22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
EOP