Docker on AWS - AWS Containers Talk with Mercari

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Kazuki Matsuda
Startup Solutions Architect
Amazon Web Services Japan
Aug. 30, 2019
イントロダクション： Docker on AWS
@ AWS Containers Talk with Mercari
#AWSLoft
#Kubernetes
#Fargate

© 2019, Amazon Web Services, Inc. or its Affiliates.
タイムテーブル
Time Contents Speaker
19:00 – 19:30 イントロダクション : Docker on AWS
松⽥和樹
19:30 – 20:10
メルカリ写真検索における Amazon EKS の活⽤事例と
プロダクトにおける Edge AI Technology の展望
株式会社メルカリ
中河宏⽂⽒
20:10 – 20:20 （休憩）
20:20 – 21:00
Fireside Chat:
merpay の AML 基盤における AWS Fargate 活用事例、
その選定理由
株式会社メルカリ
⾼橋三徳⽒
原、塚⽥
#AWSLoft #Kubernetes #Fargate

⾃⼰紹介
松⽥和樹（まつだかずき）
• アマゾンウェブサービスジャパン株式会社
スタートアップソリューションアーキテクト
• ネット広告代理店 → スタートアップ → AWS
• #Container #BigData #DevOps #Serverless
• 好きな AWS のサービス: AWS Fargate, Chalice

アジェンダ
コンテナとは
コンテナオーケストレーション
イメージレジストリ、コンテナ実⾏環境
その他のコンテナ関連サービス
現実世界のコンテナワークロード

コンテナとは

アプリケーションを構成するコンポーネント
ランタイム/エンジンアプリケーションコード
依存ライブラリ/パッケージ設定

ローカルでは動いたけど、本番で動かない︖
ローカルラップトップステージング / QA 本番
🔥
v6.0.0 v7.0.0 v4.0.0

「コンテナ」という解決策
ランタイム/エンジン
アプリケーションコード
依存ライブラリ/パッケージ

コンテナとは?
「リソースが隔離されたプロセス」
• 1つの OS 上で複数同時稼働可能なプロセスの実行環境を提供するもの
• 各々で独立したルートファイルシステム、CPU・メモリ、プロセス空間等を
利用可能
Bins/Libs
App2
Process
Infrastructure
Operating System
Container Engine
Infrastructure
Hypervisor
Guest OS
Bins/Libs
App2
Guest OS
Bins/Libs
App1
VM VM
App1
Bins/Libs
Process
コンテナ仮想マシン

コンテナ技術の標準となった Docker
nオープンソースプロジェクト
ü dotCloud社 (現 Docker社)が開発、2013 年に
オープンソースプロジェクトとして公開
ü 現在は OCI (Open Container Initiative) で仕様策定
nLinux / macOS / Windows 等で稼働
ü 実行環境として Docker Engine を
インストールし、Docker コンテナを稼働
n高まる Dev と Ops 双方の需要に対応
ü よりスケーラブルに、より早く、より柔軟に
ü コンピューティングリソース効率の向上
ü 開発・テスト・本番などの環境に応じた用途

全ての環境で同じコンテナを動かす
ローカルラップトップステージング / QA 本番

$ docker push …
Dockerを利⽤した基本的ワークフロー
- コンテナイメージ作成 -
# yum update …
# yum install …
# echo ‘Hey, Yo!’
Dockerfile
$ docker build …
コンテナイメージ
$ docker run …
コンテナ内作業
$ docker commit …
イメージレジストリ

Dockerを利⽤した基本的ワークフロー
- コンテナ実⾏ -
$ ssh …
$ docker pull …
$ docker run … ・・・

思っていたよりも⼿作業︖
• Docker の責務は同⼀サーバ上のコンテナライフサイクル管理
• 複数サーバやコンテナを束ねた概念に対するオペレーションはスコープ外

コンテナオーケストレーション

⼿作業でのコンテナイメージダウンロードと実⾏は
⾮効率かつミスオペレーションを招く

「このEC2インスタンスの
クラスタでコンテナを
実⾏したいです」
「このコンテナを3つのAZに
分散させて10個デプロイして、
このロードバランサーに
つないでください」

Amazon Elastic Container Service (ECS)
• クラウドでコンテナを本番環境利⽤す
るためのオーケストレーター
• 各種 AWS サービスとの⾼度な連携
• 数億コンテナ/週、数百万 EC2 インス
タンスを管理するスケーラビリティー
• 多様なワークロードをサポートする
「タスク」「サービス」というシンプ
ルなリソース表現
• Linux / Windows サポート

Amazon ECS Customers - from Startups to Fortune 500 companies

の Kubernetes ユーザーが AWS 上
でワークロードを動かしている
—CNCF survey

Amazon Elastic Kubernetes Service

mycluster.eks.amazonaws.com
Availability
Zone 1
Availability
Zone 2
Availability
Zone 3
kubectl

Amazon Elastic Kubernetes Service (EKS)
• 運⽤難易度の⾼い Kubernetes
マスターをマネージドで提供
• エコシステムの OSS やツールを利⽤で
きる, CNCF certified
• 各種 AWS サービスとの連携
• EKS サービスチーム、OSS チームによ
る Kubernetes コミュニティへの貢献
• オープンソース
• “Pod”, ”Deployment”, “Service”, “Job”
などのリソースに代表される⾼い表現⼒

Amazon Elastic Container Registry (ECR)
• フルマネージドなプライベート
コンテナイメージレジストリ
• セキュア – 保管イメージの⾃動的な
暗号化、IAM 連携
• スケーラブルかつ⾼い可⽤性
• Docker CLI からの利⽤
• ECS / EKS / Kubernetes だけでなく、
その他コンテナオーケストレーター
からも利⽤可能

コンテナ実⾏環境

EC2 インスタンス
ECS
Agent
Docker
Agent
OS
実⾏環境 EC2 インスタンスの運⽤業務
OS やエージェント類へのパッチ当て・更新
実⾏中のコンテナ数に基づく、最適なリソース
使⽤率を保つための EC2 インスタンス数のス
ケーリング

AWS マネージド
EC2 インスタンスのプロビジョン、スケール、管理不要
コンテナネイティブ
仮想マシンを意識しないシームレスなスケーリング
コンテナの起動時間・使⽤リソースに応じた料⾦設定
AWS サービスとの連携
VPC ネットワーキング、Elastic Load Balancing、IAM、
CloudWatch、etc.
AWS Fargate

「このコンテナをFargateで
3つのAZに分散させて
10個デプロイして、
「このコンテナを
3つのAZに分散させて
10個デプロイして、

Fargate のメリット
Fargate を利⽤すれば以下のすべてを AWS 側にアウトソース可能
• EC2 インスタンスのプロビジョニングや管理
• 脆弱性対応のためのパッチ当てや OS アップグレード
• EC2 インスタンス上で動くエージェント類のアップグレード
• クラスタ内の EC2 インスタンス群それぞれの上で動くエージェント類やソフトウェアバー
ジョンの整合性維持
• などなど…
• 状態異常が発⽣した EC2 インスタンスの再起動や⼊れ替え
• ホストレベルのスケーリング管理
• Not only containers

Fargate のコストについて
Fargate の⽅が利⽤状況に対して最適化されることが多い
• 単純⽐較だと、オンデマンド⽐で約1.17倍
• EC2 (m5.xlarge) : $0.124/h
• Fargate (2vCPU, 8GB) : $0.14536/h ※ 東京リージョンで試算
• EC2 利⽤時に、全リソースをアプリケーションに割り当てることは
現実的に難しい
• モニタリングツールやコンテナの再配置など
• 実際の運⽤では、50〜70% 程度の利⽤率に抑えることが多いのではないか
• Fargate の⽅がより細かい単位でスケール可能
• 最⼩で 0.25vCPU, 0.5GB でタスクを実⾏可能

”クラスタの⼦守はしたくない。
私たちにとってはクラスタ管理
から⽣まれる価値は何もない。
”
Shimon Tolts
CTO, DATREE
“インフラの管理をせずにスケールでき、
かつネットワークのきめ細やかな制御
ができることが私たちにとって必要で
あり、それこそが Fargate に移⾏した
理由です。”
Product Hunt
AWS Fargate customers

その他のコンテナ関連サービス

AWS Cloud Map
クラウドリソースのためのサービスディスカバリ
各リソースに対する継続的なヘルスチェック
ディスカバリ対象サービスの変更に合わせた動的な更新
開発⽣産性の向上
全アプリケーションリソースをディスカバリ可能な単⼀のレジストリ
ユーザーフレンドリーな名前の設定
AWS コンテナサービスとの連携
AWS Fargate
Amazon ECS
Amazon EKS
AWS
Cloud
Map

AWS App Mesh
アプリケーションレベルのネットワーク
ログ・メトリクス・トレース情報の容易な出⼒
クライアントサイドのトラフィック・ルーティングポリシー
単⼀のクラスタやコンテナサービスを超えて動作
Amazon ECS
Amazon EKS
Kubernetes on EC2
AWS Fargate
Amazon EC2
マネージド
コントロールプレーンの管理不要
容易なオペレーション
⾼いスケーラビリティ

• コンテナワークロードのため
のモニタリングサービス
• ⾃動ダッシュボードによる可
視化、フィルタリング
• CloudWatch Logs Insights 併
⽤による⾼度な分析
• Amazon ECS, AWS Fargate,
Amazon EKS, Kubernetes を
サポート
Preview
Amazon CloudWatch Container Insights
(Public Preview)

Amazon CloudWatch Container Insights
(Public Preview)
Preview

現実世界のコンテナワークロード

AmazonEC2
Source Build/Test Deploy
AWS CodeCommit AWS CodeBuild
Amazon Aurora Amazon S3
Developer
Control plane
Data plane
Backing service
Registry
CI/CD pipeline
AWS CodePipelineAWS CodeDeploy
AWS Secrets Manager
Parameter Store
Secrets/Configs
周辺を⽀えるサービス群

コンピューティングの多様な選択肢
適切なコンピューティングサービスの選択が重要
Functions Containers Virtual Machines
運⽤コスト低コントロール範囲

まとめ: AWS のコンテナ関連サービス
AWS
Cloud Map
オーケストレーション
コンテナのデプロイ、スケジューリング、スケーリング
コンテナイメージの格納
ホスティング
コンテナ実⾏環境
アプリケーションレベル
サービスメッシュ、サービスディスカバリ
Amazon EC2

Thank you!

Docker on AWS - AWS Containers Talk with Mercari

Recommended

Recommended

More Related Content

More from Amazon Web Services Japan

More from Amazon Web Services Japan (20)

Recently uploaded

Recently uploaded (20)

Docker on AWS - AWS Containers Talk with Mercari