1. Copyright(C)2020 DENTSU DIGITAL. All Rights Reserved
Airflowを広告データのワークフローエンジンとし
て運用してみた話
2020.01.24 大規模データ集積/分析基盤 Meet-up!
Katsunori Kanda @ Dentsu Digital
19. Copyright(C)2020 DENTSU DIGITAL. All Rights Reserved
Apache Airflowとは?
● Pythonで記述されたワークフローの実行・監視ツール
○ ETLや機械学習タスクが実行される
● Apacheトップレベルプロジェクトの一つ
○ コントリビューター:1,000+
○ スターの数: 15,000+
20. Copyright(C)2020 DENTSU DIGITAL. All Rights Reserved
Airflowのワークフローを構成するコンセプト(1/2)
● DAG:タスクの実行順序を決定するグラフ
● Operator:テンプレート化された実行単位
● Task:パラメータが与えられたオペレータ
A
C
B
D
Operators
(Python, HTTP, Docker, S3,
Kubernetes, etc…)
DAG
Task