1) O documento discute estratégias para otimização de custos na nuvem AWS, incluindo right sizing, capacidade reservada, e elasticidade.
2) É apresentado um caso de uma empresa financeira que conseguiu reduzir seu custo unitário em 60% ao adotar estas estratégias de otimização na AWS.
3) As principais alavancas de otimização de custos incluem medição e monitoramento contínuos, right sizing, capacidade reservada, e elasticidade.
Los beneficios de migrar sus cargas de trabajo de big data a AWS
Falando de TCO na nuvem da AWS
1. Falando de TCO na nuvem da
AWS
Claudio Chiba
IT Transformation Senior Consultant
AWS Professional Services
Abril, 2017
2. O que esperar desta sessão
• Visão geral de TCO – Total Cost of Ownership
• Otimização de Custos
• Metodologia de Migração
3.
4. Total Cost of Oranges
Ao analisar TCO, certifique-se que todos os fatores sejam
considerados
• Place – Instalações Prediais e Segurança Física
• Power – Energia Elétrica e Geradores
• Pipes – Refrigeração e Redes
• Patterns – Padrões de Arquitetura
• People – Equipe de Operações e Melhoria Contínua
6. Menor TCO com AWS
Fonte: IDC Whitepaper, patrocinado
pela Amazon, “The Business Value of
Amazon Web Services” Maio 2015
1
Substituição de CAPEX
por OPEX
2
59 Reduções de
Preço desde
2006
Economias de escala
permitem redução de
preços pela AWS
4
Economize ao crescer
Tiered Pricing
Descontos por Volume
Preço Customizado
3
Modelo de preços com
suporte para workloads
estáveis e variáveis
On-Demand
Reserved
Spot
Dedicated
https://aws.amazon.com/resources/analyst-reports/IDC-business-value-aws/
7. Modelos de Preços para Vários Cenários
On-Demand
Pague por capacidade de
processmento por hora sem
compromisso de longo
prazo
Para cenários com picos de
uso ou para definir
necessidades
Reserved
Faça uma reserva
antecipada através de
pagamento antecipado e
receba até 75% de
desconto
Para utilização estável e
previsível
Spot
Faça um lance por capacidade
não utilizada, cobrança por
preço que flutua baseado em
oferta e demanda
Para processamento intensivo
e transiente
Dedicated
Lance instâncias em
hardware dedicado a um
único cliente
Para cenários sensíveis a
compliance e licenciamento
8. 59 reduções de preço anunciadas pela AWS desde 2006
Amazon
ElastiCache
reduz preços
de cache
nodes em
média de 34%
Março 2014
34% Amazon S3 reduz
preços para
Standard
e Reduced
Redundancy
Storage em média
de 51%
Março 2014
51% Amazon Route 53
reduz preços para
standard queries e
latency-based
routing queries
em 20%
Julho 2014
20%
8
Amazon EC2 reduz
preços para
instâncias C4 em
10% desde seu
lançamento em
Janeiro de 2015
Jan 2016
10%
9. TCO = Custos de Aquisicão + Custos de Operação
Network
costs
Storage
costs
Server
costs
Hardware – server, rack
chassis PDUs, ToR switches
(+maintenance)
Software - OS,
virtualization licenses
(maintenance)
Overhead cost
Space Power Cooling
Hardware – storage disks,
SAN/FC switches
Overhead cost
Storage admin costs
Network hardware – LAN
switches, load balancer
bandwidth costs
Network admin costs
Overhead cost
IT labor
costs
Server admin
Virtualization admin
1
2
3
4
Space Power Cooling
Space Power Cooling
13. Planejamento de capacidade tradicional
Limitações de data centers tradicionais
Ativos físicos inflexíveis Custos fora de sincronismo
Custos de expansão e migração
são altos
Custo inesperado de
ineficiências
14. Infraestrutura elástica e paga por uso
Falta de
capacidade
Custos $
Tempo
CAPEX
Oportunidade
Demada estimada
Hardware
tradicional
Demanda
real
Virtualização
automatizada
15.
16. Otimização de Custos é…
Sair de… Para…
Pagar pelo que você Usa Pagar pelo que você Precisa
Time
Usage
Page Views
Revenue
ECUs
Etc.
Costs
Time
Usage
Page Views
Revenue
ECUs
Etc.
Costs
17. Os Cinco Pilares de Otimização de Custos
Right Sizing Reserved
Instances
Elasticidade GovernançaArquitetura
Inteligente
Investimento
correto
PrevisibilidadeCAPEX para
OPEX
Relatórios &
KPIs
Investimento
inteligente
18. Arquitetura Inteligente
Serviços gerenciados (SQS, SNS, SES, ELB, …)
• Mudança de modelo de custo por hora de instância para
custo de requisições
• Exemplo: Cloudfront pode habilitar custos menores de
transferência de dados
Use a funcionalidade correta
• S3 Infrequent Access pode ser 40% mais barato que S3
Standard
• EBS General Purpose SSD (GP2) provisiona IOPS por padrão
Regra geral: analise os serviços AWS ao desenhar a arquitetura
19. Alivie sua arquitetura
+
Configuração Padrão
• 4 x Medium Instances
$201
• AWS Data Transfer 1 TB
$92
• Total = $293
Configuração otimizada
• 1 x Medium Instance
$50
• CloudFront Data 1 TB
$87
• CloudFront Requests (10M)
$7.5
• Total = $144.5
51%
6X
Mais barato
Mais rápido
Amazon
CloudFront
Bucket S3
20. Elasticidade
Liga e Desliga Crescimento Rápido
Picos previsíveisPicos variáveis
Insatisfação do Cliente
Desperdício
21. Aumente a Elasticidade
Desligue instâncias de não-produção
• Procure por instâncias de dev/teste que estejam
sempre ligadas e automatize o desligamento,
gerando até 65% de redução de custo.
Autoscale em Produção
• Use Autoscaling para ligar e desligar instâncias com
base em demanda (CPU, requisições…) e hora do
dia/semana
Regra geral: Tente desligar aproximadamente 30% de
suas instâncias diariamente *
* 65% das horas de um mês correspondem a noites e finais de semana
22. Right Sizing
Right Sizing
• Selecione a instância com menor preço que atenda aos
requisitos de desempenho
• Analise utilização de CPU, RAM, storage e rede para
identificar instâncias com potencial de redução ou
aumente a instância para diminuir o tempo de
processamento
• Alavanque as métricas de CloudWatch e configure
métricas de RAM
Regra geral: Encontre o tamanho correto de instância e
em seguida reserve capacidade.
23. Right Sizing - Exemplo
Instance ID Instance Type On-Demand
cost pm
Instance Specs Utilization data from Cloudwatch
ABC-123 c3.xlarge $193.45 4 vCPU
7.5GiB RAM
80 SSD
Max vCPU: 35%
Max Disk IO: 0
Max NW: 302 Mbps
right-sizing para
Instance ID Instance
Type
On-Demand
cost pm
Instance Specs Savings
ABC-123 m4.large $129.94 2 vCPU
8GiB RAM
EBS only
33% savings
24. Combine Right Sizing e Elasticidade
Mais instâncias menores vs. menos instâncias maiores
29 m3.large @ $0.133 OD
$3.85 / hora*
59 t2.medium @ $0.052 OD
$3.06 / hora *
*Assumindo instâncias Linux em Virginia
25. Instâncias Reservadas - RIs
Passo 1: Cobertura de RI
• Cubra recursos que estejam sempre ligados
Passo 2: Utilização de RI
• Alavanque a flexibilidade de RI para aumentar sua
utilização
Regra geral: Alvo de 70-80% de cobertura de recursos
sempre ligados e taxa de 95% de utilização.
Nível de comprometimento: 1 ou 3 anos
Opções de pagamento: No Upfront, Partial Upfront e All Upfront
Serviços AWS elegíveis: EC2, RDS, DynamoDB, Redshift e ElastiCache
26. Instâncias Reservadas - Exemplo
Singapore, Linux
$ per hour On-Demand 1Y PURI Savings
m4.large $0.178 $0.1062 -40.34%
c4.large $0.144 $0.0932 -35%
i2.xlarge $1.018 $0.5222 -49%
Assumindo utilização para uma m4.large:
Hours On-Demand Cost PURI Cost Savings
100% of the month 744 $132.43 $79.01 -40%
80% of the month 595 $105.95 $79.01 -25%
59.66% of the month 446 $79.06 $79.01 0%
40% of the month 298 $52.97 $79.01 49%
Mesmo com 80% de
utilização, a RI ainda
apresenta 25% de
vantagem sobre on-
demand
28. Elastic Compute Unit (ECU)
Desafio
Minimizar o custo unitário em
períodos de crescimento massivo
Uma medida consistente de
capacidade de processamento
de CPU
1 ECU: Poder computacional de uma CPU de 1.0-1.2 Ghz de um servidor de 2007
29. Companhia do Setor Financeiro
O que Abr‘14 Abr‘15 Δ
Pico de Consumo de
CPU
1.601k ECU
13.957k
ECU
+772%
Custo de Instâncias $59k pm $244k pm +313%
$270k de
economia
por mês!
30. Companhia do Setor Financeiro
Custo Unitário:
Elastic Compute Unit Por Hora
60% Redução em
Custo Unitário
31. Companhia do Setor Financeiro
Apr 1 2014 Apr 30 2014
1.000 a 1.100
ECUs provisionadas
consistentemente
39. Utilize Tag em seus recursos
• Key Name: Tag name
• exemplo: ”Centro de Custo”
• Value: Descrição da Tag
• exemple: centro de custo ”35667”
Sugestões de Tag : Ambiente, Responsável, Departmento…
Tenha em mente: menos é mais
40. Budget Alerts
• Budget: Crie alarmes de orçamento por serviço, tag, AZ e AWSID para
acompanhar os custos AWS
• Dica: Habilite notificações por e-mail
41. Budget Alerts
• Quero ser notificado caso os
custos mensais de EC2
ultrapassem $100 durante o
mês
• Se o forecast mensal estimar
um valor mais alto que o
planejado será enviado um
alarme para os e-mails
configurados
42. Cost Explorer
• Acompanhamento de custos de maneira visual, traz os últimos 13 meses de
dados e pode estimar até 3 meses com base nos custos atuais
• Use Cost Explorer para identificar padrões e tendências de utilização. Dados
podem ser agrupados por mês/dia e somados por serviço, AZ, tags, instance type
e AWSID.
45. Exemplo de Dashboard
Quanto mais
poderia ser
economizado com
Ris?
Quanto estou
economizando
atualmente com as
Ris existentes?
Estou utilizando
bem as Ris?
Estou usando nuvem como
deveria, desligando e Iigando
instâncias?
Estou alavancando
os modelos RI e
Spot?
Como foi a utilização de
horas no último mês?
Visualização de (1)
Elasticidade vs steady-
state, e(2) cobertura de
RI/OD/Spot.
46. Alavancas de Otimização de Custos
Medir,
Monitorar,
Melhorar
Right
Sizing
Capacidade
Reservada
Elasticidade
Ciclo contínuo de avaliação,
comparação e integração com
Operações
49. Cloud Economics
$
1 2 3 4 50
TCO
Custos de Migração
Otimização de Custos
Atual / Do Nothing
Ambiente AWS
Payback
Period
Tempo
Custos
50. A Bolha de Migração – Componentes
Levantamento e
planejamento
Ferramentas de
Migração
Parceiros de
Consultoria
Treinamento Interno Ambientes Duplicados Penalidades de
Aluguel
51. Metodologia AWS de Migração
Strategy
• Assessment and Profiling
• Prioritization
• Data requirements and
classification
• Business logic and
Infrastructure
dependencies
Design
• Detailed migration plan
and effort
• Network topology
• Core infra services
• Security and risk
assessment
• Prep on-prem
infrastructure
Migrate
• Migrate
• Deploy
• Infrastructure integration
• Application integration
Transition
• Functional Validation
• Pilot testing
• Transition to support
• Release management
• Cutover and
Decommission
Operations
• Staff Training
• Monitoring
• Incident management
• Provisioning
Improvement
• Monitoring-driven
optimization
• Continuous Integration
and Continuous
Deployment
Plan RunMigrate
Application Migration Assessment
Re-hosting / Re-deploying
(Lift and Shift)
Re-architecting / Re-factoring
(Rewrite and decouple)
Application Optimization
52. Padrões de Migração
Discover,
Assess (Enterprise
Architecture and
Applications)
Lift and Shift
(Minimal
Change)
Migration and
UAT Testing Operate
Refactor
for AWS
Application
Lift and Shift
Move the App
Infrastructure
Plan Migration
and Sequencing
Determine
Migration Path
Decommission
Do Not Move
Design, Build AWS
Environment
Move the
Application
Determine
Migration
Process
Manually Move
App and Data
3rd Party Tools
AWS VM Import
Refactor
for AWS
Rebuild Application
Architecture
Vendor
S/PaaS
(if available)
3rd Party Migration Tool
Manually Move App and Data
Determine
Migration Process
Replatform
(typically legacy
applications)
Recode App
Components
Rearchitect
Application
Recode
Application
Architect AWS Environment
and Deploy App, Migrate Data
Signoff
Tuning Cutover
Org/Ops
Impact
Analysis
Identify
Ops Changes
Change
Management
Plan
53. Níveis de esforço para Migração
Very Low
Basic workload
Current/supported OS on AWS
No database
Few dependencies
Scheduled outage is OK
Low
Basic workload
No database
May require re-platforming (i.e. OS)
Scheduled outage is OK
Medium
Contains multiple components
No database
May require re-platforming (i.e. OS change
/ upgrade)
Outage with advance planning
Business impact possible for production
servers
High
Multiple components including database
System may include greater than five disks
Limited downtime permitted
Production servers likely to impact
business if unavailable for an extended
period of time
Very High
Multiple components including database
Complex system configuration (e.g.
numerous disks)
Contains several dependencies
Limited to No acceptable downtime
Requires advanced detailed assessment
and planning
High-touch migration
2 – 4 hours 4 – 6 hours 6 – 8 hours 10 – 14 hours 20 – 24 hours
VM Conversion
Host Cloning
VM Conversion
Host Cloning
Live Migration
App
Containerization
Live Migration
App
Containerization
Migration
Method
Live Migration
App
Containerization
54. Esforço total de 469 hosts
Exemplo de modelo de esforço de migração
• Modelo de custo baseado em
empresa com 469 workloads
de complexidades variadas.
• Média de esforço de
migração: 5.66 hours per
host
88
205
55
109
12
0
50
100
150
200
250
Very Low Low Medium High Very High
2 4 6 10 20
56. Determinando o período de Payback da Bolha de
Migração (i.e., Break-even)
On-prem (3 yr) AWS (3 yr)
Compute $1,720,061 $698,858
Storage $774,800 $245,353
Network $367,659 $37,104
IT Labor $675,360 $550,240
AWS Support $0 $98,131
57. Determinando o período de Payback da Bolha de Migração
(i.e., Break-even)
On-prem (3 yr) AWS (3 yr)
Compute $1,720,061 $698,858
Storage $774,800 $245,353
Network $367,659 $37,104
IT Labor $675,360 $550,240
AWS Support $0 $98,131
Total $3,537,880 $1,629,686
$636,064 economia anual
Custo de migração One-time: $563,738 Break-even: 10.6 meses
58. Custo= uso x rate
Não opere em nuvem da mesma
forma que um data center
tradicional Capacidade Reservada
Right SizingElasticidade*
* 65% das horas do mês são noites e fins-de-semana
Boa tarde, obrigado mais uma vez pela presença no AWS Cloud Experience Eperience BH
Professional Services é a área de consultoria da AWS, com a missão de acelerar a adoção de AWS em clientes Enterprise
Como analisar e comparar TCO em AWS e On Premises/Colocation
Processo de otimização e quais os principais pontos de atenção ao otimizar custos em AWS. Arquitetura orientada a custos
Metodologia de migração massiva de servidores para AWS desenvolvida por AWS Professional Services
Quantos de vocês trabalham em áreas de TI que reportam diretamente para a área Financeira / CFO. Ou que precisam constatemente prestar contas com o CFO?
Uma situação comum: os clientes nos contam duas notícias:
Amamos a AWS, vocês são pioneiros, sou cliente do varejo, compro muito,… Iremos utilizar AWS pelos benefícios que a nuvem traz – agilidade, flexibilidade, redução de custos
Precisamos elaborar um business case e colocar na ponta do lápis quais são os custos envolvidos e comparar com os nossos custos atuais
(Maçãs e Laranjas…)
Como calcular o TCO?
O primeiro cuidado a ser tomado: considere o local onde hospedar os servidores, a energia elétrica, o software de automação para implementar os padrões de arquitetura …
How much does Openstack
or ESX data center automation
software and support
cost per instance?
Mais detalhadamente, ao contratar um serviço AWS, estão incluídos nos custos:
Hardware de servidores e redes, Sistema operacional e SW de virtualização, espaço em instalações prediais, energia e refrigeração, Software defined networking, equipe treinada e motivada, Atualizações de Hardware e Software, redundância de storage, gerenciamento de recursos e software de automação
Possibilidade de no Upfront, IDC Report: três pontos de atenção: 1- redução do tempo de disponibilização de infraestrutura e mitigação de riscos em projetos; 2- aumento de produtividade do staff; 3- redução do custo da Infra estrutura em si
Tiered Pricing: S3 até 1 TB, de 1 a 50 TB, …
Five year ROI: 626%
Payback period: 7.1 months
SAW Dev productivity increase: 507%
Downtime reduction: 72:%
IT Productivity increase 52%
Five Year TCO Savings: 72%
On
Server – What is the cost of over-provisioning? Average utilization?
Space – Will you run out of data center space? When is your lease up?
Capacity – What is the cost of over-provisioning for peak capacity?
Availability / Power – Do you have a DR facility? Cost of power? Network – How much bandwidth do you need? Network gear?
Labor – How much do you spend on maintaining your environment? 250 x 400
Atenção aos parâmetros Server Utilization e Optimize By
Cost Optimization is a function of the new business model that the Cloud has brought about.
By making services genuinely pay for what you use, there’s huge opportunity for customers to be lean with what they use and reduce their spend dramatically.
CO should be done early on
Each of these examples is typified by wasted IT resources. Where you planned correctly, the IT resources will be over provisioned so that services are not impacted and customers lost during high demand. In the worst cases, that capacity will not be enough, and customer dissatisfaction will result. Most businesses have a mix differing patterns at play, and much time and resource is dedicated to planning and management to ensure services are always available. And when a new online service is really successful, you often can't ship in new capacity fast enough. Some say that's a nice problem to have, but those that have lived through it will tell you otherwise!
We see infra for Dev and Test team single timezone
Really easy turn off when bed
Easier still if non prod separate account
In a moment we’ll look at tools large customers use
20% de econom20% de economia
Don’t forget to track already reserved instances
Nenhuma compra de Instancia Reservada é tao fácil como não comprar instâncias reservadas
We need to learn one acronym
50min (10 gone)
Daily Peak capacity cost about 5c/hr per compute unit.
They drove it down to 2c/hr.
(click)
A 60% reduction
Go back and look april last year
click
A baseline of about 10,000 – 70% reserved
About 2 to 3000 turned on and off daily. Reduced the unit cost.
Let’s wind clock back May ’14 to when Start to turn off non-prod –
By August we can see a 44% reduction in unit cost to achieve those daily peaks
By October lots of legacy apps are moving on. Not very scalable so they rolled in some RIs.
RIs further 30% drop in unit cost
Hit is easy. What’s impressive is they have held it.
Hit is easy. What’s impressive is they have held it. That’s‘ how we save lots of money.
Pronto: Billing Console, Cost Explorer, etc
TO DO: Tracking de custos com um seleto grupo de KPIs
Additional info please check http://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/billing-what-is.html
Additional info please visit https://docs.aws.amazon.com/console/billing/costexplorer
Netflix Aggressive Cloud Native Cost Optimization
I love this perspective. It’s from re:invent, presented by Adrian Cockroft, who used to be a Cloud Architect for Netflix.
I think this sets out pretty well the path to cost optimization. This is all really quite new to our customers. Netflix’s Cloud Architect can lay it out like this because they’re 5 years ahead of most of the rest of us. But if we break it down we’ve got two areas really – the first being elasticity, which is unique to the Cloud. The second is a new way of managing tech lifecycles.
I could set out that path to many of our customers and nothing would happen, because they don’t know how to do all of these things, and to learn how is time consuming and negates the savings they would get. That’s where customers need help, and we would love partners to be able to provide that help. Cloudability gets a mention in the MQ because it does the Reserved piece well, and also cost allocation which Adrian doesn’t mention.
Seeing basic cloud economics principles at play in the migration timeline.
Não falar de produtos e linkas os benefícios com os três pain points dos clientes