O documento discute as vantagens de se utilizar bancos de dados NoSQL e sistemas de big data na nuvem da Amazon Web Services (AWS). Ele destaca como a AWS oferece soluções escaláveis, elásticas e de baixo custo para bancos de dados NoSQL como DynamoDB e sistemas como Hadoop via Elastic MapReduce. Apresenta também exemplos de desempenho e escalabilidade de bancos de dados NoSQL e NewSQL na AWS.
4. Infraestrutura Tradicional é Cara e Complexa
Preços Altos para Infraestrutura de TI Recursos de TI com Baixa Utilização
Provedores Lentos para Atender
a Demanda de Infra Data Center sem Espaço
Gerenciar Crescimento Físico Implantações Demoradas
Negociação de Contratos Instalação de Patches
Altos Investimentos de Capital Falta de foco no negócio
“TI gasta 80% de seu tempo e recursos mantendo as luzes acesas”
Gartner Press Release, 2006
5. Infraestrutura Tradicional
Demanda Desperdício Desperdício
600k Usuários
Capacidade de Recursos
Demanda Atual
Desperdício
300k Usuários Clientes
Perdidos,
Adquirir mais
Desperdício infra
200k Usuários
T1 T2 T3 T4 T1 Tempo
6. O que realmente
precisamos é…
…capacidade ajustável
http://www.flickr.com/photos/purecaffeine/302682456/
9. Problemas
em atender
Custo de Infraestrutura
Alta Despesa de
Capital clientes
Demanda
Prevista
Hardware
Custo de Tradicional
Oportunidade
Demanda
Real
Cloud
Computing
Tempo
10. Elasticidade simples e automática
App de Vídeos com Amazon EC2:
De 50 a 5,000 servidores em 3 dias!
5,000
Número de Instâncias EC2
0
Segunda Terça Quarta Quinta Sexta Sábado Domingo
11. 25% de Economia
Web Servers
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hora
Durante um dia
12. Web Servers 75% de Economia
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
Dia do Mês
Durante um mês
20. Bancos de dados NoSQL normalmente são
facilmente escaláveis horizontalmente, podem
trabalhar com quantidades de dados maciças e
não utilizam um modelo relacional para suas
estruturas de dados.
24. Bancos de Dados - Modelos
Auto-gestão Database as a Service
Banco de Dados no Amazon Relational Amazon DynamoDB
Amazon EC2 Database Service (RDS) NoSQL
Sua escolha de software SQL Server, MySQL ou Modelo não relacional
de banco de dados Oracle oferecidos como
serviço
Bring Your Own License Overhead zero de
(BYOL) administração
Licenciamento Flexível:
BYOL ou Licença Incluída
26. Infraestrutura Global
GovCloud US West US West US East South EU Asia Asia
(US ITAR (Northern (Oregon) (Northern America (Ireland) Pacific Pacific
Region) California) Virginia) (Sao Paulo) (Singapore) (Tokyo)
Regiões AWS
Pontos Edge AWS
27. Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem
28.
29.
30. US West Traffic US East Traffic Europe Traffic Asia Traffic
Geo IP/Directional DNS
Server
ELB ELB ELB ELB
Web Web Web Web Web Web Web Web
Web Web Web Web Web Web Web Web
App
Web App
Web App
Web App
Web App
Web App
Web App
Web App
Web
App App App App App App App App
App App App App App App App App
Auto Scaling group : Auto Scaling group : Auto Scaling group : Auto Scaling group :
Web App Tier Web App Tier Web App Tier Web App Tier
RDS RDS RDS RDS
Maste Maste Maste Maste
r r r r
US-West US-East EU-West AP-SOUTHEAST
RDS RDS RDS RDS
Multi-AZ Multi-AZ Multi-AZ Multi-AZ
US-West-1b US-East-1b EU-West-1b AP-SOUTHEAST-1b
Software-based Data Replicator
32. DynamoDB é um Banco de
Dados NoSQL “as a service”
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
33. Sem as complexidades
operacionais
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração
34. Performance consistente e
previsível
Latências em unidades de milisegundos.
Armazenado em discos SSD.
35. Modelo de dados flexível
Modelo Chave/atributos.
Não requer schemas
Fácil de criar. Fácil de ajustar.
57. Mas e o custo de operar um
sistema de Big Data?
58. Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/
59. Big Data requer infraestrutura flexível
Infraestrutura on premise leva a
hardware e software estático e
planejado para atender picos…
…e muitas vezes acaba
gerando longas filas de
processamento
61. AMAZON ELASTIC MAPREDUCE
Reduz complexidade/custo da gestão do Hadoop
Integra diretamente com Serviços AWS (EC2, S3,
DynamoDB, etc)
Facilita a elasticidade para Big Data
62. Data Warehouse Elástico
Data Warehouse
(Processo Batch)
Data Warehouse Data Warehouse
(Estável) (Estável)
Diminui
Aumenta para
para 25 9
instancias instancias
63. EMR é a Solução Hadoop Corporativa #1
AWS é “o provedor Hadoop
mais proeminente” e “lidera
por causa de seu serviço
Elastic MapReduce já
provado e rico em
funcionalidades…”
-The Forrester Wave™:
Enterprise Hadoop Solutions
Q1 2012
65. DynamoDB
NoSQL as a Service
500.000 transações / segundo
60 dólares / hora
Amazon DynamoDB site
66. 288 servidores com Cassandra
1.100.000 transações / segundo
51 dólares / hora
(Instâncias Reservadas)
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
67. 500 servidores
600.000 transações ACID / segundo
47 dólares / hora
(Instâncias Reservadas)
NuoDB Presentation at Under the Radar
68. Calvin
100 servidores
500.000 transações ACID / segundo
20 dólares / hora
(Instâncias Reservadas)
Calvin: Fast Distributed Transactions for Partitioned Database Systems
69. 10 dólares / hora
(Instâncias Reservadas)
695k TPS with Node.js and VoltDB