Drilling into Data with Apache Drill - Tokyo Apache Drill Meetup 2015/11/12

®
© 2015 MapR Technologies 1
®
© 2015 MapR Technologies
Drilling Into Data With Apache Drill
Ted Dunning – Chef Application Architect, MapR Technologies
2015 年年 11 ⽉月 12 ⽇日

®
{“about” : “me”}

®
アジェンダ
•  Why Drill?
•  オープンデータの探索索の例例
•  どのように動作するのか？

®
1980 2000 20101990 2020
固定スキーマ
DB管理理者が構造を管理理
動的／柔軟なスキーマ
アプリケーションが構造を管理理
⾮非リレーショナルデータベースリレーショナルデータベース
GB〜～TB TB〜～PBデータサイズ
データベース
データは⾮非リレーショナルデータストアに向かう
データ構造
開発スタイル
構造化構造化、半構造化、⾮非構造化
計画的（リリースサイクル＝数ヶ⽉月〜～数年年）反復復的（リリースサイクル＝数⽇日〜～数週間）

®
⾮非リレーショナルデータストアにSQLを持ち込む
SQL の親しみやすさ NoSQL の機敏さ
•  ANSI SQL セマンティクス
•  低レイテンシ
•  ツール/アプリケーションと
の連携
•  スキーマ管理理なし
–  HDFS (Parquet、JSON など)
–  HBase
–  …
•  データ変換・複製なし
–  データのサイロ化を防ぐ
•  使いやすさ

®
即時分析により「即断可能な」ビジネスを実現
Hadoop 
データ
データ
モデリング
変換
データ移動
（任意）
ユーザー
Hadoop 
データ
ユーザー
管理理された
アプローチ
探索索的な
アプローチ
新しいビジネスの問いかけソースデータの変更更
結果を得るまでの合計時間: 数週間から数ヶ⽉月
結果を得るまでの合計時間: 数分

®
Drill は動的なスキーマディスカバリをサポート
•  固定スキーマ
•  中央管理理されたレポジトリのスキー
マを利利⽤用 (Hive メタストア)
•  固定スキーマ、変化するスキーマ、
もしくはスキーマレス
•  中央管理理されたレポジトリのスキーマ、
⾃自⼰己記述型データのスキーマを利利⽤用
2動的にスキーマを発⾒見見事前にスキーマを宣⾔言
SCHEMA ON
WRITE
SCHEMA
BEFORE READ
SCHEMA ON THE
FLY

®
-  サブディレクトリ
-  HBase ネームスペース
-  Hive データベース
Drill は「SQL on Everything」を可能にする
SELECT
*
FROM
dfs.yelp.`business.json`
!
ワークスペース
-  パス名
-  Hive テーブル
-  HBase テーブル
テーブル
-  DFS (Text, Parquet, JSON)
-  HBase/MapR-DB
-  Hive メタストアHCatalog/
- Hadoop 以外にも対応する簡単な API
ストレージプラグインインスタンス

®
Drill のデータモデルはフレキシブル
JSON
BSON
HBase
Parquet
Avro
CSV
TSV
動的スキーマ固定スキーマ
複雑
フラット
柔軟性
Name! Gender! Age!
Michael! M! 6!
Jennifer! F! 3!
{!
name: {!
first: Michael,!
last: Smith!
},!
hobbies: [ski, soccer],!
district: Los Altos!
}!
{!
name: {!
first: Jennifer,!
last: Gates!
},!
hobbies: [sing],!
preschool: CCLC!
}!
RDBMS/SQL-on-Hadoop テーブル
Apache Drill テーブル
複雑性

®
Yelp Dataset をドリルしてみる
http://www.yelp.com/dataset_challenge

®
Business
データセット
{

"business_id":
"4bEjOyTaDG24SY5TxsaUNQ",

"full_address":
"3655
Las
Vegas
Blvd
SnThe
StripnLas
Vegas,
NV
89109",

"hours":
{

"Monday":
{"close":
"23:00",
"open":
"07:00"},

"Tuesday":
{"close":
"23:00",
"open":
"07:00"},

"Friday":
{"close":
"00:00",
"open":
"07:00"},

"Wednesday":
{"close":
"23:00",
"open":
"07:00"},

"Thursday":
{"close":
"23:00",
"open":
"07:00"},

"Sunday":
{"close":
"23:00",
"open":
"07:00"},

"Saturday":
{"close":
"00:00",
"open":
"07:00"}

},

"open":
true,

"categories":
["Breakfast
&
Brunch",
"Steakhouses",
"French",
"Restaurants"],

"city":
"Las
Vegas",

"review_count":
4084,

"name":
"Mon
Ami
Gabi",

"neighborhoods":
["The
Strip"],

"longitude":
-‐115.172588519464,

"state":
"NV",

"stars":
4.0,

"attributes":
{

"Alcohol":
"full_bar”,

"Noise
Level":
"average",

"Has
TV":
false,

"Attire":
"casual",

"Ambience":
{

"romantic":
true,

"intimate":
false,

"touristy":
false,

"hipster":
false,

"classy":
true,

"trendy":
false,

"casual":
false

},

"Good
For":
{"dessert":
false,
"latenight":
false,
"lunch":
false,

"dinner":
true,
"breakfast":
false,
"brunch":
false},

}

}

®
Review データセット
{

"votes":
{"funny":
0,
"useful":
2,
"cool":
1},

"user_id":
"Xqd0DzHaiyRqVH3WRG7hzg",

"review_id":
"15SdjuK7DmYqUAj6rjGowg",

"stars":
5,

"date":
"2007-‐05-‐17",

"text":
"dr.
goldberg
offers
everything
...",

"type":
"review",

"business_id":
"vcNAWiLM4dR7D2nwwJ7nCA"

}

®
ゼロから結果を得るまでは 2 分
$
tar
-‐xvzf
apache-‐drill-‐1.2.0.tar.gz

$
bin/drill-‐embedded

>
SELECT
state,
city,
count(*)
AS
businesses

FROM

GROUP
BY
state,
city

ORDER
BY
businesses
DESC
LIMIT
10;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

state

|

city

|

businesses
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
NV

|
Las
Vegas

|
12021

|

|
AZ

|
Phoenix

|
7499

|

|
AZ

|
Scottsdale
|
3605

|

|
EDH

|
Edinburgh

|
2804

|

|
AZ

|
Mesa

|
2041

|

|
AZ

|
Tempe

|
2025

|

|
NV

|
Henderson

|
1914

|

|
AZ

|
Chandler

|
1637

|

|
WI

|
Madison

|
1630

|

|
AZ

|
Glendale

|
1196

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

インストール
ファイルやディ
レクトリにクエ
リ実⾏行行
結果
シェルを起動
(embedded
モード)

®
複雑なデータに対する直感的な SQL アクセス
//
午後10時のラスベガス、おいしい中東料理が食べたい

>
SELECT
name,
stars,
b.hours.Friday
friday,
categories

FROM
b

WHERE
b.hours.Friday.`open`
<
'22:00'
AND

b.hours.Friday.`close`
>
'22:00'
AND

REPEATED_CONTAINS(categories,
'Mediterranean')
AND

city
=
'Las
Vegas'

ORDER
BY
stars
DESC

LIMIT
2;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

name

|

stars

|

friday

|
categories
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
Olives

|
4.0

|
{"close":"22:30","open":"11:00"}
|

["Mediterranean","Restaurants"]
|

|
Marrakech
Moroccan
Restaurant
|
4.0

|
{"close":"23:00","open":"17:30"}
|

["Mediterranean","Middle
Eastern","Moroccan","Restaurants"]
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

どのネスト
の階層の
データも検
索索できる

®
ANSI SQL 互換性
//
Cool
評価が高いレストランを取得

>
SELECT
b.name
from
b

WHERE
b.business_id
IN

(SELECT
r.business_id
FROM
dfs.yelp.`review.json`
r

GROUP
BY
r.business_id
HAVING
SUM(r.votes.cool)
>
2000
ORDER
BY

SUM(r.votes.cool)
DESC);

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

name
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
Earl
of
Sandwich
|

|
XS
Nightclub
|

|
The
Cosmopolitan
of
Las
Vegas
|

|
Wicked
Spoon
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

使い慣れた SQL
の機能 (ジョイン、
集計、ソート、
サブクエリ、
SQL データ型)
を利利⽤用

®
論論理理ビュー
//
business
および
review
データセットを組み合わせたビューを作成

>
CREATE
OR
REPLACE
VIEW
dfs.tmp.BusinessReviews
AS

SELECT
b.name,
b.stars,
r.votes.funny,

r.votes.useful,
r.votes.cool,
r.`date`

FROM
b,
r

WHERE
r.business_id
=
b.business_id;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

ok

|

summary

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
true

|
View
'BusinessReviews'
created
successfully
in
'dfs.tmp'
schema
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

>
SELECT
COUNT(*)
AS
Total
FROM
dfs.tmp.BusinessReviews;

+------------+
| Total |
+------------+
| 1125458 |
+------------+
粒粒度度が細かく、
分散的な管理理を
可能にする、軽
量量なファイルシ
ステムベースの
ビュー

®
マテリアライズドビュー、またの名を、テーブル
>
ALTER
SESSION
SET
`store.format`
=
'parquet';

>
CREATE
TABLE
dfs.yelp.BusinessReviewsTbl
AS

SELECT
b.name,
b.stars,
r.votes.funny
funny,

r.votes.useful
useful,
r.votes.cool
cool,
r.`date`

FROM
b,
r

WHERE
r.business_id
=
b.business_id;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

Fragment

|
Number
of
records
written
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
1_0

|
176448

|

|
1_1

|
192439

|

|
1_2

|
198625

|

|
1_3

|
200863

|

|
1_4

|
181420

|

|
1_5

|
175663

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

使い慣れた
CTAS シンタッ
クスを利利⽤用し、
分析結果をテー
ブルとして保存

®
繰り返し値を扱うための ANSI SQL の拡張
//
Get
most
common
business
categories

>
SELECT
category,
count(*)
AS
categorycount

FROM
(SELECT
name,
FLATTEN(categories)
AS
category

FROM
dfs.yelp.`business.json`)
c

GROUP
BY
category
ORDER
BY
categorycount
DESC;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

category

|
categorycount|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
Restaurants
|
14303

|

…

|
Australian
|
1

|

|
Boat
Dealers
|
1

|

|
Firewood

|
1

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

®
Check in
データセット
{

"checkin_info":{

"3-‐4":1,

"13-‐5":1,

"6-‐6":1,

"14-‐5":1,

"14-‐6":1,

"14-‐2":1,

"14-‐3":1,

"19-‐0":1,

"11-‐5":1,

"13-‐2":1,

"11-‐6":2,

"11-‐3":1,

"12-‐6":1,

"6-‐5":1,

"5-‐5":1,

"9-‐2":1,

"9-‐5":1,

"9-‐6":1,

"5-‐2":1,

"7-‐6":1,

"7-‐5":1,

"7-‐4":1,

"17-‐5":1,

"8-‐5":1,

"10-‐2":1,

"10-‐5":1,

"10-‐6":1

},

"type":"checkin",

"business_id":"JwUE5GmEO-‐sH1FuwJgKBlQ"

}

®
動的な／未知のカラムのサポート
>
SELECT
KVGEN(checkin_info)
checkins

FROM
dfs.yelp.`checkin.json`
LIMIT
1;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

checkins

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
[{"key":"3-‐4","value":1},{"key":"13-‐5","value":1},{"key":"6-‐6","value":1},{"key":"14-‐5","value":1},
{"key":"14-‐6","value":1},{"key":"14-‐2","value":1},{"key":"14-‐3","value":1},{"key":"19-‐0","value":1},
{"key":"10-‐2","value":1},{"key":"10-‐5","value":1},{"key":"10-‐6","value":1}]
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

>
SELECT
FLATTEN(KVGEN(checkin_info))
checkins
FROM

dfs.yelp.`checkin.json`
limit
6;

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|

checkins

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
{"key":"3-‐4","value":1}
|

|
{"key":"13-‐5","value":1}
|

|
{"key":"6-‐6","value":1}
|

|
{"key":"14-‐5","value":1}
|

|
{"key":"14-‐6","value":1}
|

|
{"key":"14-‐2","value":1}
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

動的なカラムを
数多く伴う
Map を key-
value ペアの配
列列に変換

®
動的な／未知のカラムの扱いを簡単に
//
日曜深夜のチェックイン数の合計を求める

>
SELECT
SUM(checkintbl.checkins.`value`)
as
SundayMidnightCheckins

FROM

(SELECT
FLATTEN(KVGEN(checkin_info))
checkins

FROM
dfs.yelp.checkin.json`)
checkintbl

WHERE
checkintbl.checkins.key='23-‐0';

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
SundayMidnightCheckins
|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

|
8575

|

+-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐+

®
ディレクトリは暗黙的なパーティション
logs

├──
2014

│

├──
1

│

├──
2

│

├──
3

│

└──
4

└──
2015

└──
1

select
dir0,
count(1)

from
dfs.logs.`*`

where
dir1
in
(1,2,3)

group
by
dir0

®
どのように動作するのか？

®
すべては「Drillbit」
•  「Drillbit」が各ノードで動作
•  インメモリカラムナ実⾏行行
•  コーディネーション、プランニング、実⾏行行
•  ネットワーク接続もしくは未接続
•  JDBC, ODBC, REST をサポート
•  組み込み Web UI および CLI
•  拡張性
–  カスタム関数
–  データソース
Drillbit

®
データ局所性
HDFS
HDFS
HDFS
mongod
mongod
Windows
HDFS
HDFS
HDFS
HBase
HBase
HBase
Mac
クラスタデスクトップ
HDFS & HBase クラスタ
HDFS クラスタ
MongoDB クラスタ

®
データのあるところで Drillbit を動作させる
HDFS
HDFS
HDFS
mongod
mongod
Windows
HDFS
HDFS
HDFS
HBase
HBase
HBase
Mac
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
Drillbit
クラスタデスクトップ
HDFS & HBase クラスタ
HDFS クラスタ
MongoDB クラスタ

®
クエリ実⾏行行
•  クライアントがいずれかの Drillbit に接続
•  その Drillbit は Foreman（監督）になる
•  Foreman は実⾏行行プランを⽣生成
–  コストベースクエリ最適化
Drillbit
Drillbit
Drillbit
クライアント

®
•  実⾏行行 Fragment が他の Drillbit に委託される
•  Drillbit は必要に応じてデータを交換
Drillbit
Drillbit
Drillbit
クライアント

®
•  結果は Foreman を経由してユーザに返る
Drillbit
Drillbit
Drillbit
クライアント

®
セキュリティは？

®
Drill View を介した粒粒度度の細かいセキュリティ
Name City State Credit Card #
Dave San Jose CA 1374-7914-3865-4817
John Boulder CO 1374-9735-1794-9711
Raw ファイル (/raw/cards.csv)
オーナー
Admins
パーミッション
Admins
ビジネスアナリストデータサイエンティスト
Name City State Credit Card #
Dave San Jose CA 1374-1111-1111-1111
John Boulder CO 1374-1111-1111-1111
データサイエンティスト View (/views/maskedcards.csv)
物理理データコピーではない
Name City State
Dave San Jose CA
John Boulder CO
ビジネスアナリスト View
オーナー
Admins
Business
Analysts
オーナー
Admins
Data
Scientists

®
拡張性

®
Apache Drill の拡張
•  ファイルフォーマット
–  ORC
–  XML
–  ...
•  データソース
–  NoSQL データベース
–  検索索エンジン
–  REST
–  ...
•  カスタム関数

®
Drill を始める際のおすすめ
•  Drill 初⼼心者は?
–  無料料の MapR オンライントレーニング
–  AWS のクラウド上の Test Drive Drill
–  MapR Sandbox を利利⽤用した Drill with Hadoop の学習
•  データを分析してみたい⼈人は?
–  デスクトップ PC で「Apache Drill in 10 mins」ガイドを試す
–  Drill をクラスタにダウンロードしてデータ探索索を始める
–  幅広いチュートリアルとドキュメント
•  質問は
–  user@drill.apache.org
–  dev@drill.apache.org

®

®
Q&A
@mapr_japan maprjapan
sales-jp@mapr.com
お問い合わせはこちらまで
MapR
maprtech
mapr-technologies

Drilling into Data with Apache Drill - Tokyo Apache Drill Meetup 2015/11/12

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (9)

Semelhante a Drilling into Data with Apache Drill - Tokyo Apache Drill Meetup 2015/11/12

Semelhante a Drilling into Data with Apache Drill - Tokyo Apache Drill Meetup 2015/11/12 (9)

Mais de MapR Technologies Japan

Mais de MapR Technologies Japan (9)

Drilling into Data with Apache Drill - Tokyo Apache Drill Meetup 2015/11/12