クラスメソッド社主催のAWS re:Invent 2016報告会

2. AWS Glueのご紹介
クラスメソッド株式会社
データインテグレーション部
甲木 洋介
classmethod.jp 2
2016/12/06

3. AWS Glueとは
『フルマネージドなデータカタログと
ETL処理を提供するサービス』
• Data Catalog
• Job Authoring
• Job Execution
classmethod.jp 3
3つの機能を提供

4. AWS Glue誕生の背景
DWH構築作業の約70～80%がETL処理
ETL処理の70%が手組みのプログラム
• Brittle(脆い)
• Error-prone(間違いやすい)
• Laborious(骨が折れる)
classmethod.jp 4

5. Data Catalog
『データ検索と型定義を自動化』
• Hiveメタストア互換のメタデータ
リポジトリ
• 予め設定していたデータソースのメタ情
報を定期的に取得
classmethod.jp 5

6. Data Catalog
『パーティション情報の自動検知と更新』
classmethod.jp 6

7. Job Authoring
『データ連携のロジックを自動生成』
• データ連携のためのPythonコード
(PySpark)を自動生成
• 任意のIDEで改造し、Gitで共有
classmethod.jp 7

8. Job Authoring
『データ連携のロジックを自動生成』
classmethod.jp 8

9. Job Authoring
『生成コードを編集、共有』
classmethod.jp 9

10. Job Execution
『スケーラブルなジョブ実行』
classmethod.jp 10

11. Job Execution
『データ、スケジュールベースのジョブ実行』
classmethod.jp 11

12. 続報は…
classmethod.jp 12
https://aws.amazon.com/jp/glue/

13. #cmdevio
ご清聴ありがとうございました
検 索クラスメソッド Glue