並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business Meetup #12 発表資料)

1Copyright © 2015 NTT DATA Corporation
(株) NTTデータ基盤システム事業本部
鯵坂明
並列分散処理基盤Hadoopの紹介と、
開発者が語るHadoopの使いどころ
2015/04/17 Silicon Valley x 日本 / Tech x Business Meetup #12

NTTデータ社員 (2011/04～現在)
担当でHadoopを利用したシステムを数多く構築
その利用者からのQ&A対応
Apache Hadoop Committer (2014/12～現在)
ソースコードの変更権限を持つ
世界に100人程度、日本企業だと初
自己紹介：鯵坂明 (あじさかあきら)

Hadoop概要
Hadoopとは
Hadoopの最新動向
NTTデータのHadoopに対する取り組み
アジェンダ

Copyright © 2015 NTT DATA Corporation 4
Hadoop概要

Apache Hadoop とは
オープンソースの
大規模分散処理フレームワーク
Googleの基盤ソフトウェアの
オープンソース実装の一つ
Yahoo! Research の
Doug Cutting 氏
（現Cloudera）が Java で開発
お子さんのお気に入り
だったぬいぐるみ

大量データの蓄積と
高スループットな処理
Apache Hadoop とは
がもたらしてくれたもの
柔軟なスケーラビリティと
現実的な運用性

HDFS
大量データを高スループットに読み込める
サーバが故障しても、データの安全性は担保
サーバ数を増やせば、格納できるデータ量はスケールする
MapReduceフレームワーク
Mapタスク、Reduceタスクのみ指定すれば、
（原則はJavaで処理を記述）
あとはフレームワークが並列分散処理を実現
サーバが故障しても、タスクが再実行され、ジョブは成功
サーバ数を増やせば、処理性能は基本スケールする
Hadoopを構成する2つのコンポーネント

HDFS
大量データを高スループットに読み込める
サーバが故障しても、データの安全性は担保
サーバ数を増やせば、格納できるデータ量はスケールする
MapReduceフレームワーク
Mapタスク、Reduceタスクのみ指定すれば、
（原則はJavaで処理を記述）
あとはフレームワークが並列分散処理を実現
サーバが故障しても、タスクが再実行され、ジョブは成功
サーバ数を増やせば、処理性能は基本スケールする
Hadoopを構成する2つのコンポーネント
並列分散処理の
面倒な部分を
解決してくれる
ミドルウェア

Hadoopは「貯める」「処理する」機能に特化。Hadoop
を活用した大量データ分析を実現するため、様々な
周辺ツールが出現。エコシステムが広がった。
エコシステムを形成

Apache Hive
HiveQLというSQLライクな言語でMapReduceを実行
Apache Pig
Pig Latinという独自の言語でMapReduceを実行
Apache Mahout
機械学習アルゴリズムのMapReduce実装のライブラリ
エコシステム～アプリ記述の抽象化・ライブラリ化～
hive> SELECT COUNT(uid) FROM access_log GROUP BY date;
A = LOAD 'data' USING PigStorage() AS (f1:int, f2:int, f3:int);
B = GROUP A BY f1;
（省略）
$ mahout kmeans --input inputfile --output outputfile

Apache Sqoop
RDBMS-Hadoop間のデータ連携ツール
Apache Flume
ログ収集のための分散フレームワーク
エコシステム～データ連携～
MapReduce
Sqoop
RDBMS
HDFS
import
export
内部的にはMapReduceが動
作。並列でRDBとテーブルの
情報をやりとりする。
HDFS
ログ
ログ
ログ

Hadoopコア部分に加えてエコシステムが充実するこ
とで、データの収集や分析など、「大量データ活用」を
身近なものにした。
エコシステムの浸透
HDFS
MapReduce
PigHive Mahout
HBase
SqoopRDBMS
外部システム
Flume

 分析系のデータ集計・抽出と言った大容量処理だけではなく、純バッチの
高スループット化など大件数処理にも向いている
 データを蓄積、変換するといった使い方でコストパフォーマンスが高い
大容量データ処理＆大件数データ処理
秒
分
時間
日
処
理
の
レ
イ
テ
ン
シ
バッチ処理
リアルタイム処理
データサイズ少ない多い
オンライン処理
汎用検索
ＧＢ（ギガバイト）ＴＢ（テラバイト）ＰＢ（ペタバイト）
ＴＢ（テラバイト）
大容量データ処理
オンバッチ処理
純バッチ処理
Hadoop
適応領域
RDBMS
適応領域
大件数データ処理
既存処理の高速化蓄積・分析

 Hadoop導入は大きく2つの傾向に分かれている
 共通するものも多いが、それぞれの分野で必要となる機能・非機能の条件は異なる
Hadoopが活用されている領域
秒
分
時間
日
処
理
の
レ
イ
テ
ン
シ
バッチ処理
リアルタイム処理
データサイズ少ない多い
オンライン処理
汎用検索
ＧＢ（ギガバイト）ＴＢ（テラバイト）ＰＢ（ペタバイト）
ＴＢ（テラバイト）
オンバッチ処理
純バッチ処理
Hadoop
適応領域
RDBMS
適応領域
金融
メディア
公共
メディア
通信
通信
公共
通信
既存の処理の高速化
- サーバ規模は10～20台程度
大規模データの活用
- 今まで捨てていたデータの活用
- サーバ規模は数百～数千台
ソーシャル

Hadoopの最新動向

Hadoopとエコシステムはユーザーとともに進化を遂
げた。活用事例の増加や取り巻く環境の変化から、
新たな潮流が生まれる…
Hadoopと周辺環境の変化
•一部のユーザは数千台クラスのHadoopクラスタを構築・利用クラスタ”超”巨大化
•企業の利用拡大に伴い、Hadoopにアクセスしてデータ分析をする
利用者が増えたアクセスユーザ増加
•大量データ活用が一般的になるにつれて、「速報値を知りたい」
「もっとインタラクティブに分析したい」といった要求が生まれるデータ処理高速化の追求
•Hadoop黎明期はサーバあたりのメモリ4～8Gが一般的だったが、
現在は100GB以上のメモリを積んだサーバも普及。ハードウェアの進化
主な”変化”の例

近年のHadoopおよびエコシステムについて、
以下の3点について最新動向を紹介
近年のHadoopの潮流
クラスタ”超”巨大化
アクセスユーザ増加
データ処理高速化の追求
ハードウェアの進化
1.YARN登場
2.新たな並列分散処理エンジンの出現
3.非機能面の強化
時間の都合で
省略

YARNの前に：Hadoop1系、Hadoop2系について
 Hadoop1系は2007年から開発が始まり、安定化志向。2014年6月に開発は凍結。
 Hadoop2系は2012年に分岐。根本のアーキテクチャに変更を入れ、現在も進化を続けている。
20142010 2011 201320122009
branch-2
2.2.0
2.3.0
2.4.02.0.0-alpha
2.1.0-beta
branch-1
(branch-0.20)
1.0.0 1.1.0 1.2.1(stable)0.20.1 0.20.205
0.22.0
0.21.0
New append
Security
0.23.0
0.23.11(final)
NameNode Federation, YARN
NameNode HA
2015
2.5.0
2.6.0
これまでお伝えした範囲
これからお伝えする範囲

 YARN = Yet Another Resource Negotiator
YARN登場
分散ファイルシステム
HDFS
バッチ処理
MapReduce
Hadoop 1
分散ファイルシステム
HDFS
バッチ処理
MapReduceV2
Hadoop 2
リソース制御
YARN
「蓄積+処理」の構成からリソース制御を切り出した

YARNの意義
リソース制御を分離することで…
つまり何が嬉しいの？
柔軟なリソース制御による
スループット向上
Hadoopのスケーラビリティを
さらに向上させる
MapReduce以外の分散処理を実行する
時間の都合上、
これだけ紹介

MapReduceは、ディスクIOを並列化することでスルー
プットを最大化するが、低レイテンシな処理は苦手。
新たな並列分散処理エンジンの出現
M RM R
Reduce処理
MapReduce
ジョブ・・・
M
M R
M R M R
・・・
・・・
・・・
・・・
Map処理
・・・・・・
HDFS
HDFSHDFS
HDFS
ApplicationMaster
MapReduceのフレームワークの縛りの中で複雑な処理を行うには、多数のMapReduceを組み
合わせることになる。都度HDFSに中間データを書き出すためのオーバーヘッドや、ジョブ
(ApplicationMaster)の起動のオーバーヘッドは分析処理の遅延に繋がる。
HiveやPig(on MapReduce)による一連の処理のイメージ
HDFSに書き出し
HDFSから読み出し

MapReduceで実現が難しいデータ処理の課題に対
して、新たな分散処理フレームワーク・実行エンジン
が出現。
新たな並列分散処理エンジンの出現
次ページより概要を紹介します！

Apache Tez : YARN上での処理に最適化された実行エ
ンジン
 Apache Tez : DAG(Directed Acyclic Graph)により実行計画を作成
 ApplicationMasterの起動回数削減
 HiveやPigといったMRv1で実行していたクエリ・コードを流用できる
• Hive on Tez
• Pig on Tez
Tez
Plan
Plan Plan
Plan
ローカルディスクを利用
(HDFSへの書き込みより高速)
Plan
Plan
特定のノードのみでShuffle
(通信量・リソース削減)
処理量ベースで
実行ノード数を制御
(リソース削減・性能改善)
MapReduceの仕組みに
あてはめない 1つのApplicationMasterで処理
ローカルローカル
ローカルローカル
Hive、Pigを利用するユーザは、プログラムの言語(HiveQL、Pig Latin)はそのままで処理時間
の短縮が可能。MRが多段になる複雑な処理であるほど、処理時間短縮効果が大きい。

Apache Spark : Hadoop上で動作する低レイテイシ技術
 Apache Spark : 大規模データの分散処理をオンメモリで実現
• データ処理を極力メモリ上で実現するため、高速な処理を実現
• Hadoop MapReduceが不得意な繰り返し処理に威力を発揮
• 機械学習やHadoop MapReduceよりも短時間で処理したいものが得意領域
RDD（Resilient Distributed Dataset）の変換で処理を表現
RDD RDD RDD
Stage Stage
RDD
Sparkができるだけ
処理をまとめこむ
ユーザ定義の
処理の流れ
Sparkによる
実際の処理ステージ間は
シャッフルが発生
変換変換変換出力入力
Stageに基づいて
サーバ群がタスク実行

 Twitter社のエンジニアにより開発された、並列分散ストリーム処理のた
めのフレームワーク
Apache Storm : 分散ストリーム処理フレームワーク
Storm Topology
Spout:ストリーム処理の入力を担う
Bolt:データへの
処理を実行する
HBase
HDFS
ストリームデー
タ
・ログ
・センサーデータ
アプリケーションエンジニアは、Bolt・Spoutで処理するロジックを記述、それらを組み合わせた
Topologyを定義することで分散ストリーム処理を実現できる。耐障害性やスケーラビリティを意
識せずに享受可能！
処理したデータをKVSや
HDFSに永続化し可視化や
通知を行う
Storm処理の前段にMQ等のシス
テムを配置し、ストリームデータを
受け取る

SparkやStormは元々Hadoopとは独立したプロジェク
トだったが、機能追加によりYARN上での動作が可能
に。(TezはYARNでの実行を前提としている)
メリット
- 専用のクラスタを構築する必要が無く、必要なリソースを払いだしながら多様
な分析処理を実行できる
- 同一のデータ(HDFS)にアクセスできる。(データを移動させる必要が無い)
YARNで、Hadoopに乗る
MRv2
PigHive
HDFS
YARN
Tez Spark Storm
MLlib Streaming
…
SQL GraphX
スケーラブルなデータストアの上で、様々な分析処理のワークロードが動作。
「Hadoopはビッグデータの”OS”カーネル」という声も。
http://itpro.nikkeibp.co.jp/article/NEWS/20140708/569985/

 お話した内容
 YARN登場
 新たな並列分散処理エンジンの出現
 非機能面の強化(単一障害点の排除、暗号化/ACL)
Hadoopの最新動向のまとめ
根本的なアーキテクチャも見直しを入れて
Hadoopはさらに進化をつづけている
Hadoopがユーザへ浸透することで生まれた新たな課題
に対しても、様々なエコシステムが生まれ活用されている
大量データ保持・活用の様々な課題に対する
Hadoopの適用領域は広がりつづけている

Hadoopに対するNTTデータの取り組み

NTTデータのHadoopサービス
2008年よりHadoopを使ったインテグレーションを開始
2010年「Hadoop構築・運用ソリューション」を発表
企画設計～試験移行運用
Hadoop
コンサルティング
サービス
Hadoop
構築サービス
Hadoop
評価支援サービス
Hadoop教育サービス
Hadoop
サポートサービス
これまでに数台～千台規模のサーバによる
Hadoopシステムを構築・運用してきた
国内有数の実績を持ち、業務システムや社
会基盤システムとしてHadoopを活用する
ノウハウを保持しています。

 ストリームで大量データを受信し、利用者に配信するサービスを実現する
 トラフィック増に柔軟に対応できるようオープンソースソフトウェアをフル活用
 データロスト回避、バースト対応など難しい課題をインテグレーションでクリア
適用例：Twitterデータ提供サービス

Twitterデータ提供システムの構成
受信サーバ
……
ツイートデータをいずれか1つ
の宛先に送信（負荷分散）
ツイートデータをすべての宛
先に送信
分配サーバ
出力サーバ
配信サーバ（サンプルホース）
配信サーバ（フィルターホース）
Hadoopクラスタ
配信サーバ
（ヒストリカルサーチ）
バックアップサーバ
待機系
現用系
受信サーバフィルタリングサーバ
オンプレミス環境
Firehose#1
Firehose#2
……
受信部
配信部
蓄積部
クラウド環境
フィルタリングサーバ
プログラム上の
バッファ
メッセージング
キュー
日本語ユーザDB

 モバイルネットワークの統計情報から人口推計を可視化して表示するシステム
 IAサーバ1,000台超から構成され、監視、運用にはオープンソースソフトウェアを活用
 NTTデータがHadoopクラスタを含むシステムのインテグレーションを担当
適用例：NTTドコモ様「社会の頭脳システム」
https://www.nttdocomo.co.jp/english/binary/pdf/corporate/technology/rd/technical_journal/bn/vol14_3/vol14_3_024en.pdf
情報処理学会「デジタルプラクティス」第18号にも詳細を掲載
id.nii.ac.jp/1001/00100784/

 NTTデータはお客様とOSS開発コミュニティとの間に立ち、お客様のOSS活用及びイノ
ベーションの実現を支援していきます。
NTTデータのOSSに対するアプローチ
お客様
OSS開発コミュニティ
お客様お客様
ニーズ問い合わせ
トラブル情報
インテグレーション
コンサルティングサポート
…
フィードバック
方向付け
新規機能
バージョンアップ
見極め

 Hadoopディストリビュータ
Hortonworks (Microsoft と連携)
Cloudera (Intel と提携)
EMC
 Hadoopユーザ
Yahoo!
NTT, NTTDATA
Twitter
eBay
Huawei
Facebook
...
Hadoopの開発コミュニティ
貢献コード行数
244,975
131,609
30,595
第6位
21,10723,197 21,780 20,540
14,764 14,534
2014年 Hadoopコミュニティ貢献指標
Hadoop専業ベンダのHortonworksやCloudera、Hadoopを開発したYahoo! Inc.に
次いで、NTTデータもHadoopコミュニティにグローバルレベルで貢献しています

NTTデータ社員 (2011/04～現在)
担当でHadoopを利用したシステムを数多く構築
その利用者からのQ&A対応
Apache Hadoop Committer (2014/12～現在)
ソースコードの変更権限を持つ
世界に100人程度、日本企業だと初
再び自己紹介：鯵坂明 (あじさかあきら)

コミッタになる理由
利用中に見つかった問題を、確実に修正する
お客様に安心してHadoopを使ってもらう
そのために、大量のパッチを書いた
今後は
PMC(Project Management Committee) Member
を目指す
再び自己紹介：鯵坂明 (あじさかあきら)

 Hadoopは1台のマシンで扱えない規模の大量データを高速に処理する
ためのフレームワークです
数台から始めて、数千台(データ量にして数十PB)までスケールアウ
トします
 Hadoopエコシステムの開発の勢いは今も活発です
性能面、運用面で便利な機能がどんどん追加されています
より低レイテンシな分散処理フレームワークや分析のためのライブラ
リも充実し、大量データ活用の可能性を広げています
 NTTデータは、Hadoopを利用したシステムを数多く構築・サポートして
います
お客様にHadoopを安心して使ってもらうため、Hadoop本体の開発
にも力を入れています
まとめ

Copyright © 2011 NTT DATA Corporation
Copyright © 2015 NTT DATA Corporation
お問い合わせ先：
株式会社ＮＴＴデータ基盤システム事業本部
OSSプロフェッショナルサービス
URL: http：//oss.nttdata.co.jp/hadoop
メール： hadoop@kits.nttdata.co.jp TEL： 050-5546-2496

並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business Meetup #12 発表資料)

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a 並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business Meetup #12 発表資料)

Semelhante a 並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business Meetup #12 発表資料) (20)

Mais de NTT DATA OSS Professional Services

Mais de NTT DATA OSS Professional Services (20)

並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business Meetup #12 発表資料)