Asakusaではじめるhadoop sparkプログラミング

Copyright © 2016 Nautilus Technologies, Inc. All rights reserved.NAUTILUS
これからはじめるHadoop/Spark
Asakusaではじめる
Hadoop/Sparkプログラミング

Copyright © 2016 Nautilus Technologies, Inc. All rights reserved.NAUTILUS 2
永続的なエンジニアリングが
できる会社に
– ⼈の役に⽴つ
– 途中で投げない
– お客様にしっかり⻑く使ってもらう
あらためて、ノーチラス・テクノロジーズは
Hadoop / Sparkにも当初から現在に⾄るまで、コミットしています。

Asakusaではじめる
Hadoop / Sparkプログラミング

⼤変申し訳ございません
本セッション
の対応⾔語

Hadoop / Spark どこから始めたらいいのか
n すぐに成果がでそうなところから
– まずはSQL on Hadoop / Spark
– ⼤半はこれでOK
n 環境で悩まないようにする
– クラスタを正しくセットアップするのは⼤変
– Google / Amazon / Microsoft には、Hadoop /
Sparkクラスタのマネージドサービスがある
n プログラミングもいいですよ！
– 最終的にやらなければならないケースが・・
– 今回のお題

アドホックならSQL
Impala
環境構築が⾯倒なら BigQuery / TresureData / RedShift などを使うという⼿も

Spark試すならZeppelin
Microsoft AzureのHDInsightは、クラスタの起動時に使えるようになっている

その他にも多数
https://hadoopecosystemtable.github.io/

プログララミングから始める
n ここから始めて間違いはない
– つぶしがきく
n SQLでは書ききれないニーズ
– 複雑なバッチ処理
– 前処理、後処理
n エコシステム間のつなぎに役⽴つ

Asakusa Framework

Spark
YARN
Asakusa Frameworkとは
n 基幹業務向け分散バッチ開発フレームワーク
– Asakusa Frameworkは、基幹業務システムのバッチの⾼速処理を⽬的とした、
Hadoopに対応した業界初のソフトウェア
– 基幹バッチ開発に必要な、開発環境・実⾏環境・運⽤環境を⽤意
n Hadoopの開発を容易にし、更に⾼速化
n MapReduce特有のコードを、Asakusaのコンパイラが⾃動⽣成
n Asakusaのコンパイラにて、MapReduceのコードを最適化し、MapReduceの
段数を削減させて⾼速化
データモデル定義
外部システム連携
Asakusa DSL Operator DSL
⾃動テストバッチ実⾏ツール
Flow DSL
Batch DSL MapReduce
コンパイラ
DMDL
DMDL
コンパイラ
TestDriver
ThunderGat
e
WindGate Direct I/O
YAESS
EXCEL
テンプレート
実⾏エンジン
スモールジョブ
実⾏エンジン
Apache
Hadoop
CDH MapR HDP
Amazon
EMR
Hadoop1系、
2系も可
Spark
コンパイラ

アンデルセン・サービス様原材料原価計算事例
n 原材料からの製品原価計算で４時間かかっていた
n BOMの展開・原価の４時間バッチで、週に２回実⾏するのが限界
n 110万の原材料、3000品⽬の原価をツリー構造の積上げ計算を実施
アンデルセン様データセンタ
Amazon VPC
インターネット
DBサーバ
バイナリバイナリ⼊⼒ファイル
結果ファイル
①
データを様々なシステムから
集配信する。
②
バッチ処理の時間だけ、
Hadoopを起動し、
時間課⾦を節約
クラウド転送も、データ量が
少ないので、問題なし。
バッチをクラウド上で実⾏
VPCでセキュア
⑥
Hadoop Masterバッチサーバ
バイナリバイナリ
4時間のバッチ処理が
20分で終了2 2 12 3 2
0 5 10 15 20 25
バッチ処理時間
Clusterの起動データの転送原価計算
データの受信 Clusterの停⽌

よくわかりません

n Hadoop / Spark APIの知識を必要とせず
n MapReduceではなくデータフローで
n IDEを活⽤しつつプログラムができる
Asakusa Framework 要約

まずは、それぞれのサンプルから
WordCount

Hadoop プログラミング
Map
&
Reduce
・・・と設定https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-
mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0

Sparkプログラミング（Scala）
http://spark.apache.org/examples.html

Sparkプログラミング（Java）

MapReduce
ビッグデータ界のアセンブラ
※たぶん

Asakusaプログラミング
以降のコードは https://github.com/nautilus-sekiguchi/asakusa-wordcount-example にあります

n データの流れのこと
n DFD（データフローダイアグラム）などで図⽰
される
データフローとは
Source
⼊⼒
Transform
変換
Sink
出⼒
テキスト⾏
単語抽出
出現頻度計測
単語と頻度
STS分割によるWordCount問題のDFD

n データモデル
AsakusaによるWordCount（１）
⾏
単語
頻度
分割
集計

n 演算⼦（変換）
AsakusaによるWordCount（２）
⾏
単語
頻度
分割
集計
Text
Word
WordCount

n フロー（制御）
AsakusaによるWordCount（３）
⾏
単語
頻度
分割
集計
Text
Word
WordCount

Asakusaはコンパイル時に
複数の演算⼦をまとめて
MapReduceに変換する。
（最適化）
この例だと1つの
MapReduceの実⾏となる
実⾏計画

n Apacheログファイルの集計
– 読み込めないレコードはエラーレコードとして別途
出⼒
– ステータスレコードが200のレコードは、⽇付・時
間・URL毎に件数を集計
– ステータスコードが200以外のレコードはステータス
コード・URL毎に集計
少し複雑な例

実⾏計画
この例では、２つのMR
として実⾏される。
⾃分でMRを考えなくて
いいのは、精神衛⽣上も
開発効率上も良い。

– MapReduceを⼿で書くのはキツイ
– Hadoopはエコシステムが充実しているので、成果優
先ならまず必要ない
– Spark はイイ
– ScalaだけではなくPython, Rなんかも使えるらしい。
– RDDだけではなくDataFrameなんかもあるらしい。
– （英語がわかれば）教育コンテンツは⼭盛り
– かっちり、⼤規模開発にはAsakusa Framework
– MapReduce知らなくても書ける。やりたいことに近い
DSL
– 柔軟性とのトレードオフがある
まとめ

Asakusa Frameworkのよいところ
n Hadoop / Spark 両⽅で動作する
n IDE/コンパイラチェックが強⼒
n 標準テストフレームワークがある

Hadoop / Spark 両⽅で実⾏が可能
クラウド
分散環境
分散処理フレームワーク
商⽤ディストリビューション
シングルノード
並列環境
並列処理
フレームワーク
&実⾏基盤
M3
クラウドサービス
Amazon EMR
Azure HDInsight
データフロー DSL / コンパイラ
インフラ
ストラクチャ
並列・分散処理
ミドルウェア
開発
フレームワーク
リファレンス実装
実装者は実⾏環境を意識する必要がない
オンプレミス
開発中

n （問題にもよるが）Hadoopが速いこともある
ScalaでSpark⼀択でいいのでは？
14.0
50.9
10.0
35.0
12.6
67.0
8.8
38.3
0
10
20
30
40
50
60
70
80
Medium(85GB) Large(586GB)
Hadoop(5)
Hadoop(10)
Spark(5)
Spark(10)

n 型チェックによる強⼒なエラー検知機能
n コンパイラによるフレームワーク固有エラー検
知機能
– フローの抜け漏れ検知など
n IDEによるコードアシスト
– ローカル変数はIDE任せで型を覚える必要なし
IDE / コンパイラチェックが強⼒

n Junitによる演算⼦の単体テストが可能
テストフレームワーク〜演算⼦
演算⼦アノテーションを
使うと、⾃動的にテスト
⽤のモッククラスを⽣成
してくれる。

テストフレームワーク〜ジョブフロー
text.xls word_count.xls

Asakusa Frameworkを始めてみよう！
n 開発環境は、⼀括インストールツール『Jinrikisha』を⽤意
– http://asakusafw.s3.amazonaws.com/documents/jinrikisha/ja/html/index.html
Hadoopや
Gradle/Eclipseを
Asakusaと⼀括イ
ンストール
既存の他システムとの連携
RDBMS連携、HDFS連携モジュール提供
Asteria/DataSpider/Hulft等のEAI/ETL連携
ジョブ管理ツールとの結合
JP1やSystemWalker、千⼿、A-Auto等の
ジョブ管理製品との連携
Windows環境で開発・テスト・ビルド
Eclipseプラグイン『Shafu』を⽤意
バッチテストランナーにてテスト時間を
短縮
Hadoop以外のエンジンも選択可能
Asakusaスモールジョブ実⾏エンジンや
Sparkも、処理時間に応じて選択可能

Asakusa Framework
n Asakusa Framework
– Apache2.0ですので、どうぞご⾃由にお使いください
n https://github.com/asakusafw
– gitHub上に、公開しています
n http://www.asakusafw.com/
– 各種技術資料も豊富な、専⽤サイトを⽤意
– 無料問合せ可能なメーリングリストを⽤意
n コミュニティ
– 正直まだまだです（ブログ、Meetup、勉強会 etc）
– SEO的にいまいち（”asakusa framework …” で検索）
– 皆様の参加をお待ちしています！

PPT中のイラストは、「いらすとや」さんからお借りしました
http://www.irasutoya.com/

Asakusaではじめるhadoop sparkプログラミング

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Asakusaではじめるhadoop sparkプログラミング

Semelhante a Asakusaではじめるhadoop sparkプログラミング (20)

Mais de Tadatoshi Sekiguchi

Mais de Tadatoshi Sekiguchi (15)

Asakusaではじめるhadoop sparkプログラミング