Otimizando Amazon EC2 por Diversão e Lucro

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
CMP202
Otimizando Amazon EC2
por Diversão e Lucro
Vinicius Ferreira | mvferr@amazon.com
SA, Public Sector, Educationz

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Pilares de Otimização do Amazon EC2
Maximizar
elasticidade
Escolha o
melhor modelo
preço
Medir, Monitorar
e Melhorar
Escolha tamanho
adequado para
instâncias

Tamanho Adequado (Right Sizing)
• Selecione a instância com menor custo disponível que
atenda a necessidade da sua aplicação
• Acompanhe o consumo de CPU, RAM, Disco e Rede
para identificar instâncias que podem ser redimensionadas
• Utilize as métricas do CloudWatch e instale os plugins
para acompanhar consumo de RAM
• Considere instâncias t2/t2 Unlimited (burstable)
c4.large (2 VCPU 3.7 Gb RAM) - $0.1/hr
t2.medium (2 VCPU 4 Gb RAM), 4h 48min burst - $0.046/hr
1º: Defina o tamanho adequado instâncias

Amazon EC2 – opções para todos os gostos
2017 launches:
• Compute optimized: C5, M5
• General purpose: T2 Unlimited
• Accelerated computing: G3, P3
• Memory optimized: x1e
• I/O optimized: I3, H1
• Programmable/FPGAs: F1
• Bare metal: I3.metal (Preview)
3
5
7
11 12 13
23
42
52
60
70
2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

Amazon EC2 T3: unlimited bursting by default

G2
GPU
enabled
M5
General
purpose
Memory
optimized
R3
Dense-storage &
High-I/O optimized
C5
Compute
optimized
C4M4
D2 I3
Compute: EC2 Instance Families
T3
Burstable
performance
X1P3
T2

EC2: Famílias
Instance generation
c5.xlarge
Instance family Instance size

Tamanhos de Instâncias EC2: Famílias
1 x c5.8xlarge 2 x c5.4xlarge
≈
4 x c5.2xlarge
≈
8 x c5.xlarge
≈

Exemplo: Right Sizing
Analise o consumo de CPU, RAM, MEM e Disco das suas maiores máquinas
m4.2xlarge Linux Virginia
8 VCPU 32 RAM
$0.40/hr
m4.large Linux Virginia
2 VCPU 8 RAM
$0.10/hr
75% economia

Ferramentas disponíveis para Right Sizing
Cost Optimization:
EC2 Right Sizing
https://aws.amazon.com/answers/account-management/cost-optimization-ec2-right-sizing/
AWS Trusted Advisor
Disponível com suporte Business e Enterprise

Ferramenta: EC2 Right Sizing

2º: Deixe seu ambiente mais elástico
No modelo tradicional de TI o cliente é obrigado a ajustar a sua capacidade com base na
sua necessidade dos próximos 3-5 anos
AWS permite que você ajuste a sua necessidade com a sua demanda atual
Desligue instâncias não-prod
• Identifique ambientes dev/test, não-prod e
desligue-os quando não há utilização
Utilize o AutoScaling
• Combine automaticamente capacidade
com a demanda do deu negócio

~65% da horas de um mês correspondem a
noites e finais de semana

Ferramentas para Elasticidade
EC2 Instance Scheduler
Opção semi-automática
https://aws.amazon.com/answers/infrastructur
e-management/ec2-scheduler/
Lambda Start-Stop
Opção faça você mesmo
https://aws.amazon.com/premiumsupport/kno
wledge-center/start-stop-lambda-cloudwatch/
SkySaver (Skyone)
Solução 3P totalmente gerenciada
Guide to Autoscaling
Ajuste demanda e capacidade através do Autoscaling
https://aws.amazon.com/documentation/autoscaling/
Open Source
• Jenkins
• Rundeck
• Linux Crontab

3º: Modelos de Preço AWS
On Demand (OD)
Demanda instável, ainda
desconhecida
Pague apenas pelo o
que você precisa
Pague por segundo sem
compromisso
Instâncias Reservadas
(RI)
Demanda estável, uso
previsível
Até 75% vs OD
Faça um compromisso de 1 ou 3
anos e receba um desconto
significativo
Spot
Demanda flexível,
stateless
Aprox. 90% vs OD
Capacidade ociosa, baixo
custo e sem compromisso

Filosofia de Preços da AWS
Não é necessário
investimento
inicial
Pay as you go
Pague menos
quando reservar
capacidade
Pague menos à
medida que
AWS cresce

66x

Amazon EC2 On-Demand
Curto prazo,
imprevisível
Baixo custo e
flexível
Desenvolvimento e
testes

Amazon EC2 Instances
256
128
64
32
16
8
4
2
1
1 2 4 8 16 32 64 128
Amazon EC2 Compute Units
Memory(GB)

Amazon EC2 Instâncias Reservadas (RI)
Desconto de até 75%
vs On Demand
Recomendado para
aplicações que estão
sempre ligadas
1 ano (payback 7-9 meses)
3 anos (payback 10-18 meses)
Modelos de pagamento: No Upfront, Partial Upfront y All Upfront
Serviços compatíveis: Amazon EC2, RDS, Redshift, ElastiCache, DynamoDB & CloudFront

Reservas: quando fazer
28 dias x 24h = 672 horas
...

RI Breakeven Point
1 2 3 4 5 6 7 8 9 10 11 12
On Demand NURI PURI AURI
Annual Cost
Savings vs
On Demand
On Demand
$0.100/hr
$ 876.00 -------
No Upfront
$0.063/hr
$ 551.88 37%
Partial Upfront
$0.060/hr
$ 525.60 40%
All Upfront
$0.059/hr
$ 516.84 41%
Assuming c4.large Linux in US Virginia for Standard 1Y reservation

EC2 RI - Flexibilidade de Tamanho
Instancias reservadas Linux, regionais e com tenancy shared terão seus
descontos aplicados automaticamente entre todos os tamanhos da
família reservada, dentro da mesma região
Ou seja, 1x m4.xlarge pode também representar na fatura:
2x m4.large
½ m4.2xlarge
…

Quais instâncias reservar? Cost Explorer

Use Cost Explorer para acompanhar utilização RI
maior utilização == maior economia ;)

Baixo Custo Resultados mais
rápidos
Fácil acesso
Flexibilidade de
Recursos
Amazon EC2 Spot
Spot: capacidade ociosa de EC2 que a AWS pode interromper após uma
notificação de 2 minutos

AZ1
AZ2
Capacidade Total região São Paulo
P2 C5 M5 I2 R4 D2
Shared
Dedicated
Shared
Dedicated
Cada família de instância, cada tamanho de instância, em cada zona
de disponibilidade e em cada região é um Spot Pool independente

Novo modelo de preços Spot

EC2 Spot
In 2013, Novartis ran a project that involved virtually screening 10 million
compounds against a common cancer target in less than a week. They calculated
that it would take 50,000 cores and close to a $40 million investment if they
wanted to run the experiment internally. Partnering with Cycle Computing and
Amazon Web Services (AWS), Novartis built a platform leveraging Amazon Simple
Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS), and four
Availability Zones. The project ran across 10,600 Spot Instances (approximately
87,000 compute cores) and allowed Novartis to conduct 39 years of computational
chemistry in 9 hours for a cost of $4,232. Out of the 10 million compounds
screened, three were successfully identified.

Spot Instances: Spare compute capacity at scale

Acesso simplificado
Utilize APIs existentes,
como EC2 RunInstances
Set & Forget
Preços baixos e previsíveis
sem leilão
Pause & Resume
Hibernation and stop-start
Spot Fleet: Defina quanto de capacidade você precisa e o Spot Fleet fará o resto
Spot: Últimos lançamentos

HPC & batch
TLG Aerospace saw a 75%
reduction in the cost per
CFD simulation with
Amazon EC2 Spot Instances.
They were able to pass
those savings along to their
customers and be more
competitive.
Amazon EC2 Spot Instances Use Cases
Big data
FINRA has saved up to 50%
from its on-premises
solution, increased
elasticity/scalability, and
accelerated reprocessing
requests from months to
days with EC2 Spot
Instances
Containers &
test/dev
Yelp runs millions of tests
every day with EC2 Spot
Instances. Yelp improved
test result response time
from 2 days to 30 minutes
and has also delivered a
large reduction in execution
costs with Spot.
Stateless web
services
AdRoll have been able to
seamlessly scale their
infrastructure, better serve
customers across the globe,
and reduce our fixed costs
by 75% and operational
costs by 83%.with AWS
solution, including EC2 Spot
Instances

4º: Medir, Monitorar e Melhorar
1. Tageamento automático de recursos
2. Identificar recursos ligados 24/7
3. Identificar instâncias para downsize
4. Recomendar Instâncias Reservadas
5. Painéis de Controle
6. Reportar o que foi economizado

É essencial que seu ambiente esteja tageado
Por que?
• Transparência de gastos
• Alocação interna para o time correto
Como fazer?
• Definir tags estratégicas (centro de custo, owner,
ambiente, etc)
• Configurar tags estratégicas como mandatórias
• Automatizar
Owner =
Admin
Env =
Test
App =
website

Estabeleça na sua organização uma cultura com viés de
eficiência e otimização de custos
Crie incentivos através de reforço
(raises bar), feedback visual,
gamification, etc.
Assinale os custos par as áreas
adequadas de forma a incentivar um
consumo mais consciente
Remova barreiras no processo de
execução de atividades de
otimização
$
Documente melhores práticas,
on-boarding e programas de
treinamento

Defina métricas e owners para a sua organização
Relacionadas a AWS
% Instâncias desligadas
% horas EC2 cobertos por RIs
% horas utilizadas das RIs
$ Economizado
$ Recursos não tageados
# Recursos subutilizados
Relacionadas ao seu negócio
$ por Usuário ou Transação
$ por Impressão ou Click
$ por Aplicação ou Unidade de negócio
$ por Faturamento
$ por Desenvolvedor
# horas por $ investido

Combinando os três modelos de preço
1. Use RIs para demandas
conhecidas e estáveis
2. Escale usando Spot, On-
Demand ou os dois
3. Alguns serviços da AWS que
podem te ajudar:
AutoScaling, Spot Fleet,
ECS/EKS, Amazon EMR,
Thinkbox Deadline, AWS
Batch, AWS CloudFormation
0
2
4
6
8
10
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
On-Demand
Spot
Reserved

Parceiros que podem te ajudar nessa jornada

On-
Premises
Lift &
Shift
Lowering TCO Through Optimization
COST

On-
Premises
Lift &
Shift
Instance
Right-
Sizing
Improved
Elasticity
Measure,
Monitor,
Improve
COST

On-
Premises
Lift &
Shift
Instance
Right-
Sizing
Improved
Elasticity
Measure,
Monitor,
Improve
Optimized
EC2
COST

On-
Premises
Lift &
Shift
Instance
Right-
Sizing
Improved
Elasticity
Measure,
Monitor,
Improve
Optimized
EC2
Storage
Optimization
Serverless
Architecture
Managed
Services
COST

On-
Premises
Lift &
Shift
Instance
Right-
Sizing
Improved
Elasticity
Measure,
Monitor,
Improve
Optimized
EC2
Storage
Optimization
Serverless
Architecture
Managed
Services
True AWS
Optimized
COST

On-
Premises
Lift &
Shift
Instance
Right-
Sizing
Improved
Elasticity
Measure,
Monitor,
Improve
Optimized
EC2
Storage
Optimization
Serverless
Architecture
Managed
Services
True AWS
Optimized
COST
Typical TCO
Comparison

Escolha tamanho
adequado para
instâncias
Maximizar
elasticidade
Escolha o
melhor modelo
preço
Medir e Controlar
Os 5 Pilares de Otimização de Custos na AWS
Repetir / Repetir

Otimizando Amazon EC2 por Diversão e Lucro

Mais conteúdo relacionado

Mais procurados

Semelhante a Otimizando Amazon EC2 por Diversão e Lucro

Mais de Amazon Web Services LATAM

Otimizando Amazon EC2 por Diversão e Lucro