DockerMeetup #24　でのLTです

1. 2018/07/19
NTT ソフトウェアイノベーションセンタ
大嶋悠司
KubeFlow
Machine Learning on k8s

2. 自己紹介
大嶋 悠司 @overs_5121
NTT ソフトウェアイノベーションセンタ
OSS活動が主な業務
• GoBGP(ソフトウェアBGPルータ)
• Docker
• Docker/Infrakit (メンテナ）
• KubeFlow/Katib (オーナー)

4. What is KubeFlow?
Kubernetes上で機械学習タスクを管理するOSSプロジェクト
• KubeCon2017NAにてGoogleが発表
• 6月末にv0.2がリリース
• Kubecon2018NA(12/16)にv1.0リリース予定
• 参加企業（一部）
• Google
• Intel
• Cisco
• Alibaba
• PFN
• NTT などなど．．

5. コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf

6. コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf
何故，KubeFlow?

7. 個々を解決するツールは存在するが，それらだけで解決する問題でない
自分ですべてをカバーするシステムを設計・メンテするのは容易ではない

8. SageMaker? CloudML? Machine Learning Studio?

9. SageMaker? CloudML? Machine Learning Studio?
いいや，僕らにはKubernetesがある！
MLをCloud Nativeに！

10. Composability
Portability
Scalability
Concept of KubeFlow

11. Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform

12. Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform
TF/Pytorch/Chainer Operator
Katib

13. Portability
各コンポーネントはk8s前提，k8sにのみ依存
k8sさえあればどこにでもデプロイ可能
Google
GKE
AKS
on-premise

14. Scalability
• TensorFlow
• Pytorch
• ChainerMN
多くのフレームワークで分散学習がサポートされるが使い勝手はそれ
ぞれ
CRDを用いたオペレータで隠蔽，自然に分散学習を利用可能に

15. 今後の期待
分析基盤系ツールは乱立状態
KubeFlowがMLプラットフォームのデファクトを作り
各ツールの位置，連携の整理を期待
参考：CAの青山さんが素敵な発表をされてます
https://speakerdeck.com/masayaaoyama/introduction-to-kubeflow-0-dot-1-and-future-at-cloud-native-meetup-tokyo-number-2