O documento aborda a transformação em escala na Amazon Web Services (AWS), discutindo a rápida inovação e os benefícios econômicos dessas mudanças, além das diferenças na implementação de servidores e redes. Também enfatiza a evolução dos bancos de dados, com foco no Amazon DynamoDB e Amazon Aurora, destacando suas vantagens em relação às soluções tradicionais. Por fim, menciona a infraestrutura de energia da AWS e a importância de medições e otimizações em sua operação.

1. São Paulo

2. Inovação em Escala
na Amazon Web Services
Julio M. Faerman
@jmfaerman

3. Cada vez mais rápido!
• Transformações em escala
– Apenas com claros benefícios econômicos
– Mainframes vs. UNIX Super Servers
– UNIX Super Servers vs. x86 Servers
• Está acontecendo novamente
– Data centers, para a nuvem, para a nuvem*
– Transições anteriores levaram décadas
– A diferença está no ritmo de inovação!
• Maiores benefícios movem transformações mais rápidas

4. Crescimento da AWS

5. Escala em Perspectiva
Todo dia, a AWS adiciona capacidade suficiente
para atender o equivalente à Amazon.com
quando já era uma empresa de
faturamento de $7 Bilhões

6. Tire as redes do caminho
• O custo relativo de redes está aumentando
– Preço de servidores e storage caindo
– Custos de redes tendem a dominar
• Menos inovação em Networking
– Custos verticais integrados
– Margens indefensáveis
• Soluções da AWS:
– Redes personalizadas (H&S&P)
– Links privados gerenciados
57%
8%
18%
13%
4% Servers
Networking
Equipment
Power Distribution
& Cooling
Power
Other
Infrastructure
Custos Típicos
3yr server & 10 yr infrastructure amortization

7. AWS Worldwide Network Backbone

8. Exemplo de Região AWS
AZ
AZ
AZ AZ AZ
Transit
Transit
Latência entre AZs << 2ms
25Tbps peak inter-AZs traffic

9. Por quê a AWS oferece AZs?
• Replicação Síncrona ou Assíncrona?
• Escritas em SSD levam ~ 1 a 2ms
• LA pra New York = 74ms
• Dilema em caso de falhas:
• Failover e perda de transações
• Não failover e perda de
disponibilidade
• Use as AZs!
• <2ms permite replicação síncrona
• Pode ser combinado com
replicação regional assíncrona
74ms

10. Exemplo de Zona de Disponilidade
AZ
AZ
AZ AZ AZ
Transit
Transit

11. Exemplo de AWS Data Center

12. Rack, Server & NIC

13. Latência e Variabilidade em Redes

14. Projetos de Storage e Servidores Personalizados
• Servidores OEM
– Projeto geral para uma propósitos diversos
– Rede mundial de distribuição
– “Não econômicos”
• Servidores AWS
– Servidores otimizados para fins específicos
– Implementações em hardware de núcleos comuns
– Processadores Intel com desempenho exclusivo
– DCs, servers, networking, storage projetados sob
especificações integradas

15. A diferença em bancos de dados
• Tradicionalmente dominado pelos “Big 3”
– Oracle, SQL Server, & DB2
• Difíceis de administrar e escalar
• Impossíveis de substituir
• “NoSQL” escala melhor e alivia algumas dificuldades
– MongoDB, Neo4J, Cassandra, …
• Cloud NoSQL escala ilimitadamente e não exige
administração
– e.g., Amazon DynamoDB

16. Amazon DynamoDB
• NoSQL otimizado para latência e escala
• 3x requisições no último ano
– Resposta em um dígito de ms
– Latência baixa e constante
– 4x storage no mesmo período
• Funcionalidades principais
– Suporte a JSON
– Itens de 400KB
– Índices Secundários Globais
– Fluxos
– Replicação entre regiões

17. Administração de Bancos Relacionais
• Fáceis de usar, difíceis de administrar
• SGBDRs são o núcleo de muitas aplicações
• Também a maior fonte de falhas, dores de cabeça e perdas
• RDS MySQL alivia a administração
– Instalação, Configuração, Segurança, Backups, Redundância, Réplicas…
– Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL
• Não resolve as limitações dos SGBDs

18. 26%
40%
25%
30%
35%
40%
Multi-AZ RDS % of all RDS
RDS Multi-AZ
Synchronous Replication
AZ1 AZ2
• Dificilmente se atinge mais de 3
noves em um único data center
– Replicação Síncrona Multi-AZ
• Não é novidade
– EMC SRDF/S & Oracle Fast Start Failover
– Custo de versões “enterprise”
• RDS MySQL Multi-AZ
– Mais “noves” e horas de sono!

19. Amazon Aurora
• Storage Engine Personalizado
– Funcionalidades “Enterprise”
– Preços “Cloud”
– Compatível com MySQL 5.6
– Storage Desacoplado
• Três AZs sem pausas em casos de
falha de um DC
• Mesmo a perda hipotética de dois DCs
não causa perdas
– Replicação Síncrona
SQL
Txns
Caching
StoreStore StoreStore
AZ 1 AZ 2
StoreStore
AZ 3

20. • MySQL atual com novo gerenciador de storage
– 3x write performance(sysbench)
– 5x read performance
• Suporta até 16 read replicas (RDS mySQL: 5)
• 400x menos lag (2,000ms vs 5ms)
• Tabelas de até 64TB (RDS/MySQL: 3TB)
• Failover instantâneo (no database crash recovery time)
• Recuperação automática em caso de falhas
– Sem impacto operacional
Amazon Aurora Performance

21. Amazon Redshift
Parallel SQL Data Warehouse
• Até 128 servidores em paralelo
– DW Colunar / OLAP
• Custo disruptivo: $1,000/TB/Year
– Serviço de maior crescimento
– 1000s de clientes
– Clientes de muitos PB em produção
• Provisionamento,
Redimensionamento e demais
tarefas automatizadas
• Escala Massiva:
– DW1: HDD; scale from 2TB to 2PB
– DW2: SSD; scale from 160GB to 326TB
Full 10Gbps Links
Ingestion,
Backup, &
Restore
Customer VPC
Internal
VPC
JDBC/ODBC

22. Amazon EBS a 20,000 IOPS
• Provisioned IOPS (SSD)
– Max volume to 16TB (From:1TB)
– Max I/O rate to 20,000 IOPS (From:4k IOPS)
– Max throughput to 320MB/s (From:180MB/s)
• General Purpose (SSD)
– Max volume size to 16TB (From:1TB)
– Max I/O rate to 10,000 IOPS (From:3k IOPS)
– Max throughput to 160MB/s (From:128 MB/s)
EBS

23. Desafios Internos
Medições da AWS
• Dezenas de milões de registros/s
• TBs/hora
• 100,000s de fontes internas
• Escalável, baixo custo, auditável,
com alertas em tempo real Amazon Kinesis:
• Produtores chamam put()
• Número sequencial retornado
• Dados distribuídos entre shards
• Escalável por shard: 1 MB/s &
1000 TPS

24. Infraestrutura de Energia
• Alguns datacenters com subestações próprias
– Menor custo e construção mais rápida
• Acordos de intercâmbio de energia
• Firmware switchgear personalizado
• 3 regiões 100% neutras em carbono:
– US West (Oregon)
– AWS GovCloud (US)
– EU (Frankfurt)

25. 2011
82
159
2012
280
2013
516
2014
Ritmo de inovação na AWS
AWS anunciou 1,407 novas funcionalidades ou seviços desde 2006
2015
+234*
* As of April 30, 2015

30. Random Forest
1.50…
Kaggle Top
0.38…
Amazon
Machine Learning
0.63…

31. Por onde começar?
Comunidade no Brasil
http://www.awshub.com.br
Laboratórios Gratuitos
http://aws.amazon.com/training/intro_series/
Nível de Uso Gratuito
http://aws.amazon.com/free/
Treinamentos Presenciais
http://aws.amazon.com/training/
Canal do YouTube
https://www.youtube.com/user/AmazonWebServices

32. E depois?
Documentações dos Serviços
http://aws.amazon.com/documentation
Guias de Soluções
http://aws.amazon.com/whitepapers
Centrais de Arquitetura
http://aws.amazon.com/architecture
Programa de Startups
http://aws.amazon.com/start-ups

33. MK33BR2015

34. Obrigado! Perguntas?
Julio M. Faerman
@jmfaerman