Desenvolvimento de Aplicações em Container com AWS Fargate - DEV302 - Sao Paulo Summit

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Desenvolvimento de Aplicações em
Container com AWS Fargate
Bruno Emer
Arquiteto de Soluções
Amazon Web Services
DEV302

Motivação para o AWS Fargate
Trabalhando com o AWS Fargate
Novidades para o Amazon ECS e
AWS Fargate

Motivação

No início, existia
Amazon EC2

Então, Docker!
Clientes começaram a conteinerizar aplicações utilizando
instâncias EC2
EC2 Instance
Containers

Containers tornaram fácil criar e escalar aplicações
nativas em nuvem

Clientes precisavam de uma forma fácil para gerenciar grandes clusters de
instâncias, iniciar containers e executar serviços

Agendamento e Orquestração
Cluster Manager Placement Engine

ECS
Agent
Docker
Agent
SO
Instância EC2
Mas você continuava gerenciando mais do que apenas containers

Aplicação de patches e upgrades em SO, agentes, etc.
Escalando a frota de instâncias para melhor utilização

ECS
Agent
Docker
Agent
SO
Instância EC2
ECS
Agent
Docker
Agent
SO
Instância EC2
ECS
Agent
Docker
Agent
SO
Instância EC2
Elastic
Container
Service

Suas
Aplicações em
Containers
GERENCIADO PELA AWS
Sem instâncias EC2 para provisionar, escalar ou gerenciar
ELÁSTICO
Escale para mais ou para menos. Pague apenas pelo uso.
INTEGRADO
Com todo o ecossistema AWS: Amazon VPC, Elastic Load Balancing, AWS
Identity and Access Management , Amazon CloudWatch e mais.
AWS Fargate

Panorama dos serviços de Containers da AWS
GESTÃO
Implantação, agendamento,
dimensionamento e gestão
de aplicações em containers
HOSPEDAGEM
Onde os containers rodam
Amazon Elastic
Container Service
Amazon Elastic
Container Service
for Kubernetes
Amazon EC2 AWS Fargate
REGISTRO DE IMAGENS
Repositório de imagens de
containers
Amazon Elastic
Container Registry

Clientes utilizando AWS Fargate
”We don't want to
babysit any clusters.
That has nothing to do
with us.”
Shimon Tolts
CTO, DATREE
“We moved to Fargate
because we need the
ability to scale quickly up
from baseline and get
fine-grained network
control, without having to
manage our own
infrastructure.”
Product Hunt

Trabalhando com o Fargate

Utilizando Fargate com Amazon ECS

Define os containers da aplicação: url
da imagem, requisitos de CPU e
memória, etc.
register
Task Definition
create
Cluster
• Limite de isolamento da infraestrutura
• Limite de permissões IAM
run
Task
• Uma instância de uma task
definition em execução
• Use o tipo de lançamento
AWS Fargate
create
Service
Elastic Load
Balancing
• Mantém N cópias em execução
• Integrado ao Elastic Load
Balancing
• Tasks não saudáveis são
automaticamente substituídas
Utilizando Fargate com Amazon ECS

Task Definition
{
"family": “scorekeep",
"containerDefinitions": [
{
"name":“scorekeep-frontend",
"image":"xxx.dkr.ecr.us-east-1.amazonaws.com/fe"
},
{
"name":“scorekeep-api",
"image":"xxx.dkr.ecr.us-east-1.amazonaws.com/api"
}
]
}
Documento imutável e versionado
Identificado pela família: versão
Contém uma lista de até 10 definições de containers
Todos os containers são executados no mesmo host
Cada Container Definition possui:
• Um nome
• URL da Imagem (Amazon ECR or Imagens
Públicas)
• E mais… fique ligado!
Snippet de uma Task Definition

Suporte a Repositórios
Repositórios privados de terceiros (em breve!)
Repositórios públicos suportados
Amazon ECR

Computação

Especificação de CPU e Memória
{
"family": "scorekeep",
"cpu": "1 vCpu",
"memory": "2 gb",
{
"image":"xxx.dkr.ecr.us-east-1.amazonaws.com/fe“,
"cpu": 256,
"memoryReservation": 512
},
{
"image":"xxx.dkr.ecr.us-east-1.amazonaws.com/api",
"cpu": 768,
}
]
}
Recursos a Nível de Task
• CPU/memória total para todos os containers
• Campos obrigatórios
• Dimensões de cobrança
Unidades
• CPU: cpu-units. 1 vCPU = 1024 cpu-units
• Memória: MB
Recursos a nível de Container
• Define o compartilhamento de recursos entre os
containers
• Campos opcionais
Recursos a
Nível de
Task
Recursos a
nível de
Container
Task Definition Snippet

Configurações de CPU e Memória das Tasks
50 diferentes combinações de CPU/memória para serem escolhidas
CPU Memory
256 (.25 vCPU) 512 MB, 1 GB, 2 GB
512 (.5 vCPU) 1 GB, 2 GB, 3 GB, 4 GB
1024 (1 vCPU) 2 GB, 3 GB, 4 GB, 5 GB, 6 GB, 7 GB, 8 GB
2048 (2 vCPU) Entre 4 GB e 16 GB em incrementos de 1-GB
4096 (4 vCPU) Entre 8 GB e 30 GB em incrementos de 1-GB

Precificação
Cobrança por Segundo. Mínimo de um minuto
Pague pelo que você provisiona
Cobrança pelo nível de CPU e memória das Tasks

Rede

Integração com VPC
172.31.0.0/16
Subnet
172.31.1.0/24
Internet
Other Entities in VPC
EC2 LB DB etc.
IP Privado
172.31.1.164
Inicie suas Tasks Fargate em subnets
Nos bastidores:
• Nós criamos uma Elastic Network Interface (ENI)
• É alocado IP privado de sua subnet a esta ENI
• A ENI é conectado à sua Task
• Agora sua Task possui um IP privado de sua subnet!
Você pode associar IPs públicos às suas tasks
Configure security groups para controlar o tráfego de entrada
e saída
ENI Fargate
TaskPúblico /
208.57.73.13 /

Configuração da VPC
{
"cpu": "1 vCpu",
"memory": "2 gb",
"networkMode": "awsvpc",
{
"image":"xxx.dkr.ecr.us-east-1.amazonaws.com/fe",
"cpu": 256,
},
{
"cpu": 768,
}
]
}
$ aws ecs run-task ...
-- task-definition scorekeep:1
-- network-configuration
“awsvpcConfiguration = {
subnets=[subnet1-id, subnet2-id],
securityGroups=[sg-id]
}”
Habilita a
criação e
conexão da
ENI à Task
Run Task
Task Definition

Acesso a Internet
A ENI da Task é utilizada para todo o tráfego de entrada e saída de e para sua Task
Ela também é utilizada para:
• Baixar as imagens (do ECR ou de repositórios públicos)
• Enviar logs para o CloudWatch
Estes endpoints precisam ser acessíveis através da ENI de sua Task
Dois modos de setup comuns:
• Privado sem tráfego de entrada a partir da internet, mas permite saída para internet
• Tasks públicas, com acesso de entrada e saída a internet

Configuração de Tasks Privadas
Subnet Pública Subnet Privada
Fargate
TaskENI
IP Privado
172.31.1.164
NAT Gateway
EIP Público
34.214.162.237
Internet
Gateway
172.31.0.0/16
172.31.2.0/24 172.31.1.0/24
Destination Target
172.31.0.0/16 local
0.0.0.0/0 NAT Gateway
Destination Target
172.31.0.0/16 local
0.0.0.0/0 Internet Gateway
Route Tables
Internet
Conecte o Internet Gateway à VPC
Configure uma Subnet Publica com:
• Rota para o Internet Gateway
• NAT Gateway
Configure a Subnet Privada com
• Task Fargate
• Rota para o NAT Gateway
Security Group para permitir o tráfego de
saída para a Internet
Tipo Porta Destino
All Traffic ALL 0.0.0.0/0
Outbound Security Group Rules

Outbound
Inbound
Configuração de Tasks Públicas
Public subnet
Fargate
Task
Public IP
54.191.135.66
Internet
Gateway
172.31.0.0/16
172.31.2.0/24
Destination Target
172.31.0.0/16 local
0.0.0.0/0 Internet Gateway
Route Table
Internet
ENI
$ aws ecs run-task ...
subnets=[public-subnet],
securityGroups=[sg-id],
}”
Inicie a Tasks em uma subnet pública
A task receberá um IP público
Security Group que permita o tráfego de entrada
proveniente da InternetType Port Source
HTTP 8080 0.0.0.0/0
Inbound Security Group Rule
Type Port Destination
All Traffic ALL 0.0.0.0/0
Outbound Security Group Rules
assignPublicIp=ENABLED
Run Task

Configuração do Elastic Load Balancing
{
"cpu": "1 vCpu",
"memory": "2 gb",
"networkMode": “awsvpc“,
{
"cpu": 256,
"memoryReservation": 512,
"portMappings": [
{ "containerPort": 8080 }
]
},
{
"cpu": 768,
"portMappings": [
]
}
]
}
$ aws ecs create-service ...
-- task-definition scorekeep:1
subnets=[subnet-id],
securityGroups=[sg-id]
}”
-- load-balancers
“[
{
"targetGroupArn": “<insert arn>",
"containerName": “scorekeep-frontend",
"containerPort": 8080
}
]”
Create Service
Task Definition

Configuração de Elastic Load Balancing Público
Public subnet Private subnet
Fargate
TaskENI
Private IP
172.31.1.164
:8080
ALB
Public IP
208.57.73.13
:80
172.31.0.0/16
172.31.2.0/24 172.31.1.0/24
Internet
Task em uma subnet privada com endereço IP
privado
ALB em subnet pública com endereço IP público
Tenha certeza que as Availability Zones das duas
subnets combinam
Security group do ALB deve permitir tráfego de
entrada a partir da Internet
O security group da Task deve permitir o tráfego de
entrada a partir do security group do ALB
Task Security GroupALB Security Group
Type Port Source
HTTP 80 0.0.0.0/0
Inbound Rule
Type Port Source
Custom TCP 8080 ALB Security Group
Inbound Rule
us-east-1a us-east-1a

Armazenamento

Armazenamento em Disco
Armazenamento efêmero provido pelo Amazon EBS na forma de:
Volume de armazenamento
Armazenamento de camada gravável

Camada de Armazenamento
• Imagens Docker são compostas por camadas.
A camada superior é a camada de escrita que
captura mudanças em arquivos feitas pelo
container em execução.
• Camada de armazenamento de 10-GB
disponível por task, para todos os containers,
incluindo camadas de imagem
• Escritas não visíveis entre containers
• Armazenamento efêmero não disponível
depois que a task pára.
Image Layers
Writable Layer
Image Layers
Writable Layer
Container 1 Container 2
10 GB per Task

Armazenamento de Volume
• Precisa que a escrita seja visível entre
containers?
• Fargate provê 4GB de espaço por task
• Configure via "volume mounts" na task
definition
• Pode montar em diferentes containerPaths
• Não especifique o sourcePath do host
• Lembre-se que este armazenamento também
é efêmero, ou seja, não disponível depois que
a task é parada.
Container 1 Container 2
4 GB Volume Storage
mount
/var/container1/data /var/container2/data

Permissões IAM

Camadas de Permissão
Cluster
Permissions
Application
Permissions
Task
Housekeeping
Permissions
Cluster
Fargate Task
Permissões do Cluster:
Controle quem pode lançar/descrever tasks em seu cluster
Permissões de Aplicação:
Permite os containers de sua aplicação acessar recursos da AWS
de forma segura.
Permissões de Sustentação:
Permite que execute atividades de sustentação em sua task:
• Amazon ECR Image Pull
• Envio de logs para o Amazon CloudWatch
• Criação de ENI
• Registrar/Desregistrar targets em Elastic Load
Balancers

Permissões do Cluster
{
"Effect": "Allow",
"Action": [ "ecs:RunTask" ],
"Condition": {
"ArnEquals": {"ecs:cluster":"<cluster-arn>"}
},
"Resource": [ “<task_def_family>:*" ]
}
Você pode criar políticas IAM para controlar o controle de acesso aos seus clusters de forma granular
Associe estas políticas a usuários IAM e/ou papéis conforme necessário
Algumas políticas de exemplo:
Exemplo 1: Permite RunTask em um cluster
específico com uma task definition específica
{
"Effect": "Allow",
"Action": [ "ecs:ListTasks“,
“ecs:DescribeTasks” ],
"Condition": {
"ArnEquals": {"ecs:cluster":"<cluster-arn>"}
},
"Resource": “*”
}
Exemplo 2: Acesso apenas de leitura a tasks em
um cluster específico
E muito mais!

Permissões de Aplicação
Seus containers acessam outros recursos da AWS?
Precisa obter credenciais para a task?
Crie uma Role IAM com as permissões que sua aplicação
precisa. Em nosso exemplo, permissões para DDB e Amazon
SNS.
Estabeleça uma relação de confiança com ecs-
tasks.amazonaws.com nesta role. Isto nos permite assumir a
role e associar as credenciais à sua task.
Adicione o arn da role à sua task definition e pronto!
Nós geramos e rotacionamos credenciais temporárias.
Chamadas para a AWS via CLI/SDK de sua aplicação irão
automaticamente utilizar as credencias da Role associada à
task.
Use uma Task Role
{
"cpu": "1 vCpu",
"memory": "2 gb",
“taskRoleArn": “arn:aws...role/scorekeepRole“,
{
"cpu": 256,
"portMappings": [
]
},
{
"cpu": 768,
"portMappings": [
]
}
]
}
Task Definition

Permissões de Sustentação
• Nós precisamos de certas permissões na sua conta para iniciar sua task e mantê-la
em execução.
• Execution Role nos dá permissões para:
• Baixar imagens do Amazon ECR
• Enviar logs para o CloudWatch
• Amazon ECS Service Linked Role nos dá permissão para:
• Gestão de ENI’s
• Registrar/Desregistrar targets em Elastic Load Balancing

Role de Execução
• Utilizando uma imagem no Amazon ECR ou CloudWatch
Logs?
• Crie uma Role IAM e adicione permissões de leitura ao
Amazon ECR
• ecr:GetAuthorizationToken e ecr:BatchGetImage
• Ou utilize a política gerenciada
AmazonEC2ContainerRegistryReadOnly
• Adicione permissões de escrita ao CloudWatch Logs
• logs:CreateLogStream e logs:PutLogEvents
• Ou utilize a política gerenciada
CloudWatchLogsFullAccess
• Estabeleça relação de confiança com ecs-
tasks.amazonaws.com. Isto nos permite assumir a role
• Adicione o arn de execução da role em sua task definition
Nos dê permissões através de uma Role de Execução {
"cpu": "1 vCpu",
"memory": "2 gb",
“taskRoleArn": “arn:aws...role/scorekeepRole“,
“executionRoleArn":
“arn:aws...role/scorekeepExecutionRole“,
{
"cpu": 256,
"portMappings": [
]
},
{
"cpu": 768,
"portMappings": [
]
}
]
}
Task Definition

Role Vinculada ao Serviço Amazon ECS
• Uma role service-linked é um tipo único de role IAM que é vinculada diretamente a um serviço AWS,
neste caso, Amazon ECS
• Ela é criada automaticamente em sua conta na criação do primeiro cluster
• Ela possui uma política pré-definida, que é imutável. Neste caso, permissões ENI e Elastic Load
Balancing.
• Você não precisa passar esta role explicitamente na task definition ou em qualquer chamada API.
Apenas saiba sobre esta role caso você se depare com a mesma na console IAM.

Visibilidade e Monitoramento

Configuração do CloudWatch Logs
• Use o driver awslogs para enviar o
stdout de sua aplicação para o
CloudWatch Logs
• Crie um Log Group no CloudWatch
• Configure o driver de log em sua
task definition
• Lembre-se de adicionar permissões
através da Task Execution Role
{
...
{
...
"logConfiguration": {
"logDriver": "awslogs",
"options": {
"awslogs-group": "scorekeep",
"awslogs-region": “us-east-1",
"awslogs-stream-prefix": "scorekeep/frontend“}}
},
{
...
"logConfiguration": {
"logDriver": "awslogs",
"options": {
"awslogs-group": "scorekeep",
"awslogs-region": “us-east-1",
"awslogs-stream-prefix": "scorekeep/api"}}
}
]}
Task Definition

CloudWatch Logs
Tab Logs na
página de
detalhes da Task
Visualize logs através da console do Amazon ECS ou CloudWatch

Outras Ferramentas de Visibilidade
Métricas de utilização de CPU/memória de
serviços disponíveis no CloudWatch
CloudWatch Events em mudanças de estado
das tasks

O que há de novo?

• Pesquise dados de ambiente e estatísticas para tasks em execução direto da Task! Habilita
ferramentas de monitoramento como Datadog, etc.
• Endpoints disponíveis:
Nível da Task (para todos os containers)
• 169.254.170.2/v2/metadata –JSON com Metadados para a Task
• 169.254.170.2/v2/stats -JSON com estatísticas do Docker para todos os containers na Task
Nível do Container
• 169.254.170.2/v2/metadata/<container-id>
• 169.254.170.2/v2/stats/<container-id>
Metadadados da Task
NOVO!

{
"Cluster": "default",
"TaskARN": "arn:aws:ecs:us-west-
2:012345678910:task/9781c248-0edd-4cdb-
9a93-f63cb662a5d3",
"Family": "nginx",
"Revision": "5",
"DesiredStatus": "RUNNING",
"KnownStatus": "RUNNING",
"Containers": [
{
"DockerId":
"731a0d6a3b4210e2448339bc7015aaa",
"Name": "~internal~ecs~pause",
"DockerName": "ecs-nginx-5-
internalecspause-1234",
Metadados da Task
Novo!

{
"Containers": [
{
"DockerId":
"731a0d6a3b4210e2448339bc7015aaa",
"Name": "~internal~ecs~pause",
"DockerName": "ecs-nginx-5-
internalecspause-1234",
"Image": "amazon/amazon-ecs-
pause:0.1.0",
"ImageID": "",
"Labels": {
"com.amazonaws.ecs.cluster":
"default",
"com.amazonaws.ecs.task-arn":
"com.amazonaws.ecs.task-definition-family":
"nginx",
"com.amazonaws.ecs.task-definition-
version": "5"
},
Metadados da Task
"DesiredStatus":
"RESOURCES_PROVISIONED",
"KnownStatus": "RESOURCES_PROVISIONED",
"Limits": {
"CPU": 512,
"Memory": 512
}
Novo!

Monitoramento com Datadog Autodiscovery e AWS Fargate

Health Checks em Containers
- Defina comandos de heath check customizados no ECS Task Definition
NOVO!

Service Discovery Gerenciado para Amazon ECS
NOVO!
• Registro de Serviços:
• Nomes previsíveis para serviços
• Atualizado automaticamente com
os últimos endereços IP
saudáveis, porta
• Gerenciado: Sem sobrecarga de
instalação ou monitoramento
• Alta disponibilidade, alta escala
• Extensível: Limites flexíveis para auto
descoberta

Amazon Route 53 Auto Naming Provê Registro de Serviços
Amazon Route 53 provê APIs para a
criação de
• Namespace
• CNAME por serviço
• Registros tipo A por IP de Task
• Registros SRV por IP + porta de Task
Service
CNAME: A / SRV record
Namespace

Demo

Lições Aprendidas

Lições Aprendidas
• Fargate é um novo tipo de execução do Amazon ECS para execução de containers sem a
necessidade de gestão de instâncias Amazon EC2.
• Se você está decidindo entre Amazon EC2 vs. AWS Fargate, comece sua arquitetura utilizando
Fargate.
• Isto irá forçar boas práticas no design, mantendo os containers de sua aplicação verdadeiramente
independentes do host subjacente..
• Se você acha que precisa ter acesso ao host subjacente, pense novamente.
• Existem algumas boas razões: necessidades de um tipo especial de instância, instâncias EC2 dedicadas,
utilização de instâncias reservadas, GPUs, workloads Windows, etc
• E nos conte seu caso de uso. Nós queremos te ajudar com o Fargate!
• Comece utilizando o AWS Fargate hoje!
• Fargate trabalha com suas imagens de container Docker
• Você pode executar task definitions existentes no AWS Fargate com apenas algumas modificações.

Aprenda mais em aws.amazon.com/Fargate
Obrigado!

Avalie esta sessão
1. Clique no ícone da
Agenda.
2. Selecione a sessão
que assistiu.
3. Clique em Session Survey
para avaliar a sessão.

Desenvolvimento de Aplicações em Container com AWS Fargate - DEV302 - Sao Paulo Summit

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Desenvolvimento de Aplicações em Container com AWS Fargate - DEV302 - Sao Paulo Summit

Semelhante a Desenvolvimento de Aplicações em Container com AWS Fargate - DEV302 - Sao Paulo Summit (20)

Mais de Amazon Web Services

Mais de Amazon Web Services (20)

Desenvolvimento de Aplicações em Container com AWS Fargate - DEV302 - Sao Paulo Summit