平成最後の1月ですし、Databricksでもやってみましょうか #azuretechlove 2019年 01／23(水) Azure Tech Lab #1 ～よう知らんけど～

1. 平成最後の1月ですし、
databricksでも
やってみましょうか
Azure Tech Lab #1
株式会社PLAN-B
システム開発本部 テック&データラボ 技術統括
Microsoft MVP for AI
得上 竜一(@tottokug)

2. Azureに最適化・統合されたspark環境
Azure Databricksとは

3. インメモリでの
高速処理
便利なコンポーネントが
付属しているため
あらゆるユースケースに
対応できる
Spark
SQL
Spark Core
Spark
Streaming
MLlib GraphX
Apache Sparkとは
ビッグデータの並列分散処理フレームワーク

4. WEBから利用可能
インフラの管理不要
スケールアップ・アウト
が無停止で可能
Notebookにより
インタラクティブに
分析・開発可能
多彩なデータソース
Clusters Jobs Notebooks Data
Databricksとは
Apache SparkのPaaS

5. DEMO

7. クラスター立ち上げDEMO

9. テーブル作成DEMO

11. Notebook DEMO

12. インスタンス ストレージ
VMの
料金
DBUの
料金
BLOB
ストレージの
料金
起動した分だけ 保存した分だけ
使った分だけ
＋ ＝ お支払い
Azure Databricksの価格
VM料金+ DBU料金 + ストレージ料金

13. ※2018/09 時点の情報
Azure Databricksの価格
DBU料金はワークロードで違う
DBU
※ 1 時間あたりの処理能力の単位
データ エンジニアリング
ジョブ スケジューラ等によって実行される場合
自動起動のバッチ処理など
データ分析
アドホック コマンドなどのインタラクティブな機
能がクラスターで実行される場合

14. インスタンス
VMの料金
DBUの料金
例）データサイエンティストが分析のためNotebookを利用
業務時間中(10:00〜18:00)のみ起動
月にD3インスタンスを4台×8時間×20営業日の場合
※Standardレベル、データ分析ワークロード
35.40円 × 4台 × 160時間 = 22,656円/月
33.60円 × 4台 × 160時間 = 21,504円/月
44,160円/月
※2018/09 時点の情報
Azure Databricksの価格
インスタンス料金例

15. インスタンス
VMの料金
DBUの料金
例）日時のETL処理をジョブスケジューラによって定期実行
月にD3インスタンスを4台×2時間×30日の場合
※Standardレベル、データ エンジニアリングワークロード
35.40円 × 4台 × 60時間 = 8,496円/月
16.80円 × 4台 × 60時間 = 4,032円/月
12,528円/月
※2018/09 時点の情報
Azure Databricksの価格
インスタンス料金例

16. 詳細版はこちら
//aka.ms/databricksjp

17. Azure Machine Learning Serviceとの連携

18. Azure Machine Learning サービスの概要

19. Azureに最適化・統合されたspark環境
Azure Databricksとは