Cloudera World Tokyo 2015 で発表した資料です。 https://clouderaworld.tokyo/ 概要 かつてHadoopによるビッグデータ基盤は HiveやPig、MapReduce、そしてHDFSだけで構成されるシンプルなシステムでした。しかし現在では、SparkやImpalaを始めとして、Kafka、HBase、Parquet、そしてKuduなどの新しいコンポーネントを組み合わせた複雑なシステムが次々に本番環境で稼働し始めています。 このセッションでは、データの取得、加工、提供までの流れがどのように変わっていったか、そして現在ではどのような基盤が主流なのか、最新のトレンドについて解説します。

1. 1© Cloudera, Inc. All rights reserved.
Hadoopビッグデータ基盤の
歴史を振り返る

2. 2© Cloudera, Inc. All rights reserved.
⾃自⼰己紹介
• テクニカルエバンジェリスト
• 2011年年4⽉月にClouderaの最初の⽇日本⼈人社員として⼊入社
• お客様がCloudera製品を活⽤用できるように⼀一緒に議論論するのがメインの
仕事
• 実際は技術に関係する業務は全部⾏行行っている
• email: sho@cloudera.com
• twitter: @shiumachi

3. 6© Cloudera, Inc. All rights reserved.
エンタープライズデータハブ(EDH)
バッチ、インタラクティブ、
リアルタイム
1つのプラットフォームで最⾼高の
パフォーマンスとユーザビリティ
を実現
• きめ細かい分析ワークフロー
• より多くのデータにアクセス
• 新たな⽅方法でデータを処理理
• これまでとは異異なるユーザーの
取り込み
セキュリティと運⽤用管理理
プロセス
取込み
Sqoop, Flume
変換
MapReduce, Hive,
Pig, Spark
ディスカバー
分析データベース
Impala
検索索
Solr
モデル
機械学習
SAS, R, Spark,
Mahout
サーブ
NoSQL データベー
ス
HBase
ストリーミング
Spark Streaming
無制限のストレージ HDFS, HBase
YARN, Cloudera Manager,
Cloudera Navigator

4. 7© Cloudera, Inc. All rights reserved.
ビッグデータ基盤？
• 別にビッグじゃなくてもいいです
• データ基盤、データ分析基盤、⾊色々呼び⽅方がありますが、ここでは「ビッ
グデータ基盤」に統⼀一します
• このスライドでは以下のように定義します
• あらゆるデータソースからデータを取込み、保存し、加⼯工し、提供し、
活⽤用するための⼀一つ以上のシステムの結合体

5. 8© Cloudera, Inc. All rights reserved.
DISCLAIMER
• このセッションはあくまでHadoop及びEDHを中⼼心としたビッグデータ基盤の歴
史について説明するためのものです
• DWHとかメインフレームとかは対象外
• Clouderaのセッションなので基本的にCloudera以外の製品・コンポーネントは
でてきません
• 他製品に興味ある⼈人は適当に読み替えてください
• あくまでシステムの現場での潮流流なので、学術的な正確さで説明したものでは
ありません
• データフローに必要な機能や製品のみを取り上げているので⾮非機能要件に関連
する機能(HA、セキュリティ、リソース管理理など)は紹介しません
要約: マサカリ投げんな

6. 10© Cloudera, Inc. All rights reserved.
ビッグデータ基盤の歴史

7. 12© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
データ処理理
データ
アプリケーション

8. 13© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
データ処理理
データ
アプリケーション

9. 14© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
データ処理理
データ
アプリケーション

10. 15© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
データ処理理
データ
アプリケーション

11. 16© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション

12. 17© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成

13. 18© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集

14. 19© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(1)
バッチ処理理とビジネスレポート
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile

15. 20© Cloudera, Inc. All rights reserved.
バッチ処理理とビジネスレポート
• 2009-‐‑‒2012年年頃
• Hadoop = バッチ処理理の時代
• MapReduceによるJavaアプリケーションをはじめ、HiveやPigなどの上
位クエリ⾔言語を使ってレポート⽣生成してた
• 特⻑⾧長
• 分散処理理による劇的なスループット向上
• ⼤大量量のデータをアクティブな状態で保持
• 上記の特⻑⾧長を従来に⽐比べて⾮非常に安価に実現
• 課題
• HiveをBIにつないでも遅すぎて使い物にならない

16. 21© Cloudera, Inc. All rights reserved.
バッチ処理理とビジネスレポート
登場技術紹介
• MapReduce
• かつてはHadoopの分散処理理の代名詞だった
• HDFS
• 分散ファイルシステム。2012年年まではセキュリティ機能も⾼高可⽤用性もなかった
• Hive
• SQLを書くと分散処理理に変換する。当時はMapReduceのみ対応
• 同系統の⾔言語としてPigが存在
• Avro
• スキーマ情報を保持できるシリアライズフォーマット
• RCFile
• Parquet登場までは唯⼀一の列列指向ファイルフォーマット
• Flume
• ログ収集ソフト。Source -‐‑‒ Channel -‐‑‒ Sink の3要素が存在し、Source からデータを
取込み、Sink から書き出す

17. 22© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(2)
インタラクティブBI
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile

18. 23© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(2)
インタラクティブBI
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet

19. 24© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(2)
インタラクティブBI
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ

20. 25© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(2)
インタラクティブBI
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI

21. 26© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(2)
インタラクティブBI
• 2012年年後半以降降
• Impalaの登場により、BIツールが直接Hadoopのデータにストレスなく触
れるようになった
• 列列指向フォーマットParquetを使えばより⾼高速に処理理が可能
• 更更新が必要なデータはHBaseを活⽤用すればいい
• 特⻑⾧長
• ⼤大量量データに対するインタラクティブクエリと、BIツール連携の充実
• HBase + Parquet の組み合わせによるスタースキーマの実現
• 課題
• 更更新、挿⼊入が必要で、かつ⼤大量量スキャンが必要な処理理はまだ遅い
(HBaseは⼤大規模スキャンに弱い)

22. 27© Cloudera, Inc. All rights reserved.
インタラクティブBI
登場技術紹介
• Impala
• 2012年年10⽉月にベータリリースされたHadoop⽤用の⾼高速SQLエンジン
• 初めてのHadoop上での⾮非MapReduce分散処理理
• Parquet
• ClouderaとTwitterで共同開発した列列指向フォーマット
• データの圧縮率率率の⾼高さとスキャンの⾼高速性が特⻑⾧長
• HBase
• NoSQLとしてのHBaseは2009年年頃から存在するが、ここではあくまで
Impalaのデータソースとしての登場。

23. 28© Cloudera, Inc. All rights reserved.
• ファクトテーブル
• データ量量が膨⼤大
• 通常更更新はない
• よってParquetが最適
• ディメンジョンテーブル
• ファクトテーブルに⽐比べてかな
り⼩小さい
• 更更新、挿⼊入が起こりうる
• よってHBaseが最適
Parquet + HBase によるスタースキーマ
ファクト
テーブル
(Parquet)
ディメンジョン
テーブル
(HBase)
ディメンジョン
テーブル
(HBase)
ディメンジョン
テーブル
(HBase)

24. 29© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI

25. 30© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング

26. 31© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング

27. 32© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション

28. 33© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Spark
クレンジング
整形処理理

29. 34© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(3)
全⽂文検索索、Spark、そしてEDH
• 2013年年以降降
• Cloudera Searchが登場し、Hadoop上でも簡単に全⽂文検索索できるように
• Sparkにより様々な分散アプリケーションが開発され始める
• 特⻑⾧長
• バッチ処理理やSQLだけでなく、様々な分散処理理アプリケーションを動作
させることができるようになった

30. 35© Cloudera, Inc. All rights reserved.
全⽂文検索索、Spark、そしてEDH
登場技術紹介
• Solr
• OSSの全⽂文検索索エンジン
• Solr⾃自体はHadoopエコシステムとして開発されたわけではない
• ClouderaはSolrをベースにCloudera Search というOSSを開発した
• Lily HBase Indexer
• HBaseのデータを元にSolrのインデックスを作成する
• Spark
• MapReduceに代わる新しい分散処理理エンジン
• メモリを活⽤用した⾼高速処理理や、柔軟で開発しやすいAPIなどにより近年年
急速に普及してきている

31. 36© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Spark
クレンジング
整形処理理

32. 37© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Kafka Broker
メッセージ
Flume Source
Kafka Source
Spark
クレンジング
整形処理理

33. 38© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Kafka Broker
メッセージ
Flume Source
Kafka Source
Kafka Producer
Producer API
外部システム
アプリケーション
データ
Spark
クレンジング
整形処理理

34. 39© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Kafka Broker
メッセージ
Flume Source
Kafka Source
Kafka Producer
Producer API
外部システム
アプリケーション
データ
Flume Sink
HBase Sink
Spark
クレンジング
整形処理理

35. 40© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HFDSクライアント
put アップロード
HDFS
Avro
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
データ処理理
データ
アプリケーション
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
HBase
HBase テーブル
HBase
get/put API
外部システム
アプリケーション
データ
Impala
インタラクティブ
BI
Solr
検索索インデックス
Flume Sink
NRT
インデクシング
Lily HBase Indexer
NRT
インデクシング
Solr
検索索
アプリケーション
Kafka Broker
メッセージ
Flume Source
Kafka Source
Kafka Producer
Producer API
外部システム
アプリケーション
データ
Flume Sink
HBase Sink
Spark Streaming
ストリーム処理理
Spark
クレンジング
整形処理理

36. 41© Cloudera, Inc. All rights reserved.
ビッグデータ基盤(4)
Kafkaとストリーミング処理理
• 2015年年
• Kafkaの急速な発展、普及によりデータの取込みがより⾼高速・容易易になっ
た
• Spark Streaming の活⽤用によりストリーミング処理理が容易易になった
• 特⻑⾧長
• データが⽣生成されてから活⽤用するまでのend-‐‑‒to-‐‑‒endの時間を⼤大幅に短
縮できるようになった

37. 42© Cloudera, Inc. All rights reserved.
Kafkaとストリーミング処理理
登場技術紹介
• Kafka
• 急速に普及しつつある分散メッセージキュー
• これまでストリームでのデータ取込みはFlumeエージェントを並べるだ
けだったが、Kafkaを使うことでデータの流流⼊入全てを1クラスタとしてま
とめて処理理できるようになった
• Spark Streaming
• Sparkサブプロジェクトの⼀一つ
• 流流⼊入するデータを次々に処理理することのできる、ストリーミング処理理を
記述できる

38. 43© Cloudera, Inc. All rights reserved.
ビッグデータ基盤のSLA

39. 44© Cloudera, Inc. All rights reserved.
SLA、考えてますか？
• 「この処理理は◯◯時間内に終わらせなければいけない」
• 「この処理理は××時までに完了了していることが望ましいが、最⼤大1⽇日遅れ
ても⼤大丈夫」
• ビッグデータ基盤を設計するにあたって、SLAは絶対に考慮すること
• ダメな例例
• 「なるべく速くお願いします」
• ⾼高速にするにはそれだけ開発⼯工数がかかるし制約も多い
• そもそも何を速くするつもりなの？(後述)
• 「遅くてもいいのでできるだけ安くお願いします」
• 遅くするのもいくらでもできますよ？

40. 45© Cloudera, Inc. All rights reserved.
SLAについての誤解
• 誤解1: SLAはジョブの実⾏行行時間だけ考えればいい
• このImpalaクエリ5秒で結果が返ってくる！
• でもデータの準備までに1⽇日かかる……
• 誤解2: SLAはHadoopクラスタの中だけ考えていればいい
• Hadoopの中は⼗十分早いのに、Hadoopの⼿手前のレガシーシステムがや
たらと遅い……
• 誤解3: SLAは完成されたシステムの中だけの世界である
• 「データが利利⽤用可能になるまで」を広い意味で解釈すれば、データ処理理
のための開発⼯工数も含める必要がある

41. 46© Cloudera, Inc. All rights reserved.
end-‐‑‒to-‐‑‒endのSLAも重要
「データが⽣生成されてから何分で使え
るようにならなければいけないか？」
Hadoop以外のシステムにも注意
ボトルネックがどこにあるかをきちん
と把握しすること
無駄なチューニングは避ける
正しくSLAを設計する
ImpalaParquetへ変換Flumeでデータ取込み(Parquet変換⽤用データがたまり切切るまで待つ)
Impalaだけ⾒見見ればとても速い
この構成だと⽣生成されたデータが利利⽤用可能になるまで時間がかかる
HBaseに直接データ投⼊入
(速い)
Impala
(すごく遅い)
トータルで⾒見見れば上の⽅方法よりも利利⽤用可能までの時間は短い
ただしImpalaクエリは圧倒的に遅い
Hadoop⾮非Hadoopシステム
Hadoopをいくら⾼高速化しても
end-‐‑‒to-‐‑‒endの速度度は上がらない

42. 47© Cloudera, Inc. All rights reserved.
コンポーネントの特性を正しく理理解すること
• Parquet
• Impalaでクエリを実⾏行行するときは圧倒的に速いがデータが揃うまで作
成不不可で、しかも追記不不可
• HBase
• 追記、挿⼊入可能で単⼀一データのルックアップは⾮非常に⾼高速
• しかしフルスキャンは⾮非常に遅い
• Spark
• MapReduceより書きやすく、開発⼯工数を⼤大幅に削減可能

43. 48© Cloudera, Inc. All rights reserved.
まとめ

44. 49© Cloudera, Inc. All rights reserved.
ビッグデータ基盤のデータフロー
データソース
サーバログ
ログ集約サーバ
tar.gz
HDFS
tar.gz
HDFS
Avro
HBase
HBase テーブル
Solr
検索索インデックス
Kafka Broker
メッセージ
HFDSクライアント
put アップロード
MapReduce
クレンジング
整形処理理
Hive
RCFileに変換
HDFS
RCFile
Hive
レポート作成
Flume Source
データ収集
Flume Sink
HDFS Sink
HDFS
SequenceFile
Hive
Parquetに変換
HDFS
Parquet
Impala
インタラクティブ
BI
Flume Sink
HBase Sink
HBase
get/put API
外部システム
アプリケーション
データ
Lily HBase Indexer
NRT
インデクシング
Spark Streaming
ストリーム処理理
Solr
検索索
アプリケーション
Flume Source
Kafka Source
Kafka Producer
Producer API
外部システム
アプリケーション
データ
データ処理理
データ
Spark
クレンジング
整形処理理
Flume Sink
NRT
インデクシング
アプリケーション

45. 50© Cloudera, Inc. All rights reserved.
まとめ
ビッグデータ基盤の構築には広い視点でのSLA設計が不不可⽋欠
分析クエリやバッチ処理理のSLAだけでなく、end-‐‑‒to-‐‑‒endのSLAも考慮する必要あり
開発⼯工数も「データが利利⽤用可能になるまでの時間」の計算に⼊入れること
ビッグデータ基盤は多数のシステムの接続が前提ということを忘れない
局所的なチューニングは効率率率が悪い
データフローパスに存在するシステム数は可能な限り減らす
銀の弾丸はない、でもいい武器にこしたことはない
安易易に新機能・新製品に⾶飛びつかず、SLAを満たすかどうかを第⼀一に考えよう
既存機能・製品に固執せず、必要なら新しいものを取り⼊入れよう

46. 51© Cloudera, Inc. All rights reserved.
エンタープライズセールス
⼤大規模システムに関わる営業ができ
る⼈人歓迎
セールスエンジニア
技術の価値を伝えることに興味があ
る⼈人歓迎
We are hiring!
career-‐‑‒jp@cloudera.com

47. 52© Cloudera, Inc. All rights reserved.
Thank
you