数あるSQL-on-Hadoopエンジンの中でも、標準SQL準拠、柔軟で動的なデータ解釈、様々なデータソースや格納形式への対応という特徴を持つApache Drill。デモを中心に、Drillの便利な機能を利用したデータ検索・分析の楽しみ方をご紹介します。2014年11月6日に開催されたCloudera World Tokyo 2014 LTセッションでの講演資料です。

1. ® © 2014 MapR Technologies
1
®
Apache Drill でたしなむ
セルフサービスデータ探索索
草薙 昭彦 (MapR Technologies)
2014 年年 11 ⽉月 6 ⽇日

2. セルフサービスデータ探索索?
® © 2014 MapR Technologies
2

3. セルフサービス データ探索索
® © 2014 MapR Technologies
3 業務を担当するユーザーがシステム管理理者の
⼿手を(極⼒力力)介さずに直接データ処理理を⾏行行うこと

4. セルフサービス データ探索索
データのフォーマットや格納形式にとらわれず
興味のある対象のデータをその場で
⾃自由に掘り下げ加⼯工していくこと
® © 2014 MapR Technologies
4

5. 古くて新しい問題: データモデリングと変換
® © 2014 MapR Technologies 5

6. ® © 2014 MapR Technologies 6
Hadoop/NoSQL 以前
ダッシュ BIツール
ボード
データウェアハウス
または分析⽤用DB
社内のいろいろなDB
社内
アプリ

7. Web
アプリ
® © 2014 MapR Technologies 7
Hadoop/NoSQL 以後
ダッシュ BIツール
ボード
データウェアハウス
または分析⽤用DB
社内のいろいろなDB
社内
アプリ
HadoopNoSQL
Hadoop
ネイティブアプリ

8. ® © 2014 MapR Technologies 8
データまでの距離離
ユーザー部⾨門
(アナリスト, 開発者)
Data Agility
(迅速なデータ活⽤用)
データ
ユーザー部⾨門
(アナリスト, 開発者)
開発環境の準備,
MapReduce ⼿手配, サポート
Hive およびその他の
SQL-on-Hadoop
既存のアプローチでは中間
組織が必要だった (IT部⾨門)
データ
ユーザー部⾨門 データ
(アナリスト, 開発者)
モデリング
および変換

9. ® © 2014 MapR Technologies 9
Apache Drill プロジェクト

10. Apache Drill プロジェクト
• ⼤大規模データセットのインタラクティブ分析のためのフレーム
ワーク
• Google Dremel (BigQuery) のオープンソース実装
• プロジェクトサイト: http://incubator.apache.org/drill/
• GitHub: https://github.com/apache/incubator-drill
® © 2014 MapR Technologies 10

11. ® © 2014 MapR Technologies 11
Apache Drill の特徴
• Agility
– ⾃自⼰己記述型データ（JSON等）に対して直接クエリを実⾏行行
– メタデータ管理理を必要最低限に、クエリの前の ETL を極⼒力力不不要に
• Flexibility
– ストレージプラグインにより様々なデータストアに対応
• CSV, TSV, JSON, Parquet, Hive, HBase, MongoDB, REST, …
• ディレクトリツリー全体や、Hive の複数のメタストアも
– HBaseセルに格納されたJSONデータなど、複雑なデータにも対応
• Familiarity
– 標準SQLのサポート
– Hiveのスキーマ、ファイル形式、UDFをそのまま利利⽤用可能

12. Drill のインストール: クエリ結果を得るまで2分
$ tar xzf apache-drill-0.6.0.tar.gz!
!
$ ./apache-drill-0.6.0/bin/sqlline -u jdbc:drill:zk=local!
!
0: jdbc:drill:zk=local!
SELECT columns[1] AS LOCATION, columns[2] AS _MONTH, max(columns[6]) AS MAX_TEMP!
FROM dfs.`/root/drillwork/tokyo_2013.csv`!
GROUP BY columns[1], columns[2];!
+------------+------------+------------+!
| LOCATION | _MONTH | MAX_TEMP |!
+------------+------------+------------+!
| 練⾺馬 | 01 | 9.9 |!
| 練⾺馬 | 02 | 9.8 |!
| 練⾺馬 | 03 | 9.5 |!
| 練⾺馬 | 04 | 25.5 |!
| 練⾺馬 | 05 | 29.4 |!
| 練⾺馬 | 06 | 31.9 |!
| 練⾺馬 | 07 | 36.1 |!
| 練⾺馬 | 08 | 38.6 |!
| 練⾺馬 | 09 | 36.5 |!
| 練⾺馬 | 10 | 30.7 |!
| 練⾺馬 | 11 | 21.8 |!
| 練⾺馬 | 12 | 9.7 |!
+------------+------------+------------+!
12 rows selected (0.543 seconds)!
インストール
シェル起動(組
み込みモード)
クエリ
結果
® © 2014 MapR Technologies 12

13. ® © 2014 MapR Technologies
13 デモ

14. ® © 2014 MapR Technologies 14
デモ
• Hive テーブルに対するクエリ
• HDFS 上の CSV ファイル
に対するクエリ
• HBase テーブル
に対するクエリ
• MongoDB コレクション
に対するクエリ
• CSV ファイルと Mongo DB
コレクションの Join
• JSON ファイルに対するクエリ

15. Apache Drill: ビッグデータ向けのセルフサービス SQL
® © 2014 MapR Technologies 15
• ⾃自⼰己記述型データに
対する直接のクエリ実
⾏行行
• スキーマや ETL 処
理理が不不要
• HBase および様々な
NoSQL ストアに対
するクエリ実⾏行行
• SQL を使い (JSON
のような) 複雑なデ
ータ型を直接処理理
• ANSI SQL のスキルや
BI ツールを活⽤用可能
• Hive のスキーマ、フ
ァイル形式、UDF
がそのまま利利⽤用できる
AGILITY
INSTANT INSIGHTS TO BIG DATA
FLEXIBILITY
ONE INTERFACE
FOR HADOOP NOSQL
FAMILIARITY
EXISTING SKILLS
TECHNOLOGIES

16. ® © 2014 MapR Technologies 16 U
Ver. 0.6
• 低レイテンシSQL
• ダイナミックスキーマ
• ファイルおよびHBase サ
ポート
• Hiveインテグレーション
• ANSI SQL
• JDBC/ODBC/REST
Ver. 1.0〜～
• YARN リソース管理理
• 認証機能
• 階層データ関数
• オプティマイザの強化
• Window関数
• Non-‐‑‒Equi 結合
• 同時実⾏行行性能の強化
• Insert/Update/Delete サポート
• ワークロード管理理
• Java以外のドライバ・APIサポート
今後のプラン

17. ® © 2014 MapR Technologies 17
Q A
お問い合わせはこちらまで
@mapr_japan maprjapan
sales-jp@mapr.com
MapR
maprtech
mapr-technologies