O documento discute as vantagens de se utilizar bancos de dados NoSQL e sistemas de big data na nuvem da Amazon Web Services (AWS). Ele destaca como a AWS oferece soluções escaláveis, elásticas e de baixo custo para bancos de dados NoSQL como DynamoDB e sistemas como Hadoop via Elastic MapReduce. Apresenta também exemplos de desempenho e escalabilidade de bancos de dados NoSQL e NewSQL na AWS.

1. NoSQL e Big Data na Nuvem
Sua solução na Velocidade da Luz com a
Amazon Web Services
José Papo
AWS Tech Evangelist
@josepapo

2. Nuvem é Liberdade!

3. Liberte-se da Infra Tradicional!

4. Infraestrutura Tradicional é Cara e Complexa
Preços Altos para Infraestrutura de TI Recursos de TI com Baixa Utilização
Provedores Lentos para Atender
a Demanda de Infra Data Center sem Espaço
Gerenciar Crescimento Físico Implantações Demoradas
Negociação de Contratos Instalação de Patches
Altos Investimentos de Capital Falta de foco no negócio
“TI gasta 80% de seu tempo e recursos mantendo as luzes acesas”
Gartner Press Release, 2006

5. Infraestrutura Tradicional
Demanda Desperdício Desperdício
600k Usuários
Capacidade de Recursos
Demanda Atual
Desperdício
300k Usuários Clientes
Perdidos,
Adquirir mais
Desperdício infra
200k Usuários
T1 T2 T3 T4 T1 Tempo

6. O que realmente
precisamos é…
…capacidade ajustável
http://www.flickr.com/photos/purecaffeine/302682456/

8. Quando você desliga seus recursos de
Nuvem você pára de pagar por eles

9. Problemas
em atender
Custo de Infraestrutura
Alta Despesa de
Capital clientes
Demanda
Prevista
Hardware
Custo de Tradicional
Oportunidade
Demanda
Real
Cloud
Computing
Tempo

10. Elasticidade simples e automática
App de Vídeos com Amazon EC2:
De 50 a 5,000 servidores em 3 dias!
5,000
Número de Instâncias EC2
0
Segunda Terça Quarta Quinta Sexta Sábado Domingo

11. 25% de Economia
Web Servers
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hora
Durante um dia

12. Web Servers 75% de Economia
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
Dia do Mês
Durante um mês

13. Nuvem é Democracia!

14. Permitiu o boom das startups!

15. … E facilita o aumento da inovação em grandes
empresas

19. O que é NoSQL?

20. Bancos de dados NoSQL normalmente são
facilmente escaláveis horizontalmente, podem
trabalhar com quantidades de dados maciças e
não utilizam um modelo relacional para suas
estruturas de dados.

21. Bancos de Dados na
Nuvem da Amazon

22. Flexibilidade e independência
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas

23. Opções de Bancos de Dados
Relacional NoSQL

24. Bancos de Dados - Modelos
Auto-gestão Database as a Service
Banco de Dados no Amazon Relational Amazon DynamoDB
Amazon EC2 Database Service (RDS) NoSQL
Sua escolha de software SQL Server, MySQL ou Modelo não relacional
de banco de dados Oracle oferecidos como
serviço
Bring Your Own License Overhead zero de
(BYOL) administração
Licenciamento Flexível:
BYOL ou Licença Incluída

25. Alta Disponibilidade de
NoSQL na AWS

26. Infraestrutura Global
GovCloud US West US West US East South EU Asia Asia
(US ITAR (Northern (Oregon) (Northern America (Ireland) Pacific Pacific
Region) California) Virginia) (Sao Paulo) (Singapore) (Tokyo)
Regiões AWS
Pontos Edge AWS

27. Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem

30. US West Traffic US East Traffic Europe Traffic Asia Traffic
Geo IP/Directional DNS
Server
ELB ELB ELB ELB
Web Web Web Web Web Web Web Web
Web Web Web Web Web Web Web Web
App
Web App
Web App
Web App
Web App
Web App
Web App
Web App
Web
App App App App App App App App
App App App App App App App App
Auto Scaling group : Auto Scaling group : Auto Scaling group : Auto Scaling group :
Web App Tier Web App Tier Web App Tier Web App Tier
RDS RDS RDS RDS
Maste Maste Maste Maste
r r r r
US-West US-East EU-West AP-SOUTHEAST
RDS RDS RDS RDS
Multi-AZ Multi-AZ Multi-AZ Multi-AZ
US-West-1b US-East-1b EU-West-1b AP-SOUTHEAST-1b
Software-based Data Replicator

31. DynamoDB

32. DynamoDB é um Banco de
Dados NoSQL “as a service”
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições

33. Sem as complexidades
operacionais
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração

34. Performance consistente e
previsível
Latências em unidades de milisegundos.
Armazenado em discos SSD.

35. Modelo de dados flexível
Modelo Chave/atributos.
Não requer schemas
Fácil de criar. Fácil de ajustar.

36. Escalabilidade simples
Sem limites de tamanho de tabelas.
Armazenamento ilimitado.
Zero downtime.

37. Durável e com alta disponibilidade.
Escritas consistentes em disco.
Replicação em diversos data centers
dentro de uma região.

38. Sem complexidades de
administração!

39. Sem complexidades de
administração!

40. Duas decisões + três
cliques = pronto para uso!

41. Duas decisões + três
cliques = pronto para uso!

42. Capacidade provisionada.
Reserve quantidade de requisições por
segundo para leituras e escritas.
Aumente ou diminua a capacidade a
qualquer momento.

43. Pague por capacidade.
Precificação por hora de capacidade
provisionada e dados armazenados

44. Duas decisões + três
cliques = pronto para uso!

48. Duas decisões + uma
chamada de API = pronto
para uso!

49. $create_response = $dynamodb->create_table(array(
'TableName' => 'ProductCatalog',
'KeySchema' => array(
'HashKeyElement' => array(
'AttributeName' => 'Id',
'AttributeType' => AmazonDynamoDB::TYPE_NUMBER
)
),
'ProvisionedThroughput' => array(
'ReadCapacityUnits' => 10,
'WriteCapacityUnits' => 5
)
));

50. APIs para as principais plataformas
Java Perl
PHP Python
.NET Ruby

51. Modifique capacidade
manualmente ou automaticamente

53. Demo!

54. Hadoop na Nuvem

55. "Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce

56. Então, Hadoop diminui o custo de
desenvolver um sistema Big Data…

57. Mas e o custo de operar um
sistema de Big Data?

58. Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/

59. Big Data requer infraestrutura flexível
Infraestrutura on premise leva a
hardware e software estático e
planejado para atender picos…
…e muitas vezes acaba
gerando longas filas de
processamento

60. +
Diminuindo o custo de operar sistemas Big Data…

61. AMAZON ELASTIC MAPREDUCE
Reduz complexidade/custo da gestão do Hadoop
Integra diretamente com Serviços AWS (EC2, S3,
DynamoDB, etc)
Facilita a elasticidade para Big Data

62. Data Warehouse Elástico
Data Warehouse
(Processo Batch)
Data Warehouse Data Warehouse
(Estável) (Estável)
Diminui
Aumenta para
para 25 9
instancias instancias

63. EMR é a Solução Hadoop Corporativa #1
AWS é “o provedor Hadoop
mais proeminente” e “lidera
por causa de seu serviço
Elastic MapReduce já
provado e rico em
funcionalidades…”
-The Forrester Wave™:
Enterprise Hadoop Solutions
Q1 2012

64. Exemplos de uso e
escala de NoSQL e
NewSQL na AWS

65. DynamoDB
NoSQL as a Service
500.000 transações / segundo
60 dólares / hora
Amazon DynamoDB site

66. 288 servidores com Cassandra
1.100.000 transações / segundo
51 dólares / hora
(Instâncias Reservadas)
Benchmarking Cassandra Scalability on AWS - Over a million writes per second

67. 500 servidores
600.000 transações ACID / segundo
47 dólares / hora
(Instâncias Reservadas)
NuoDB Presentation at Under the Radar

68. Calvin
100 servidores
500.000 transações ACID / segundo
20 dólares / hora
(Instâncias Reservadas)
Calvin: Fast Distributed Transactions for Partitioned Database Systems

69. 10 dólares / hora
(Instâncias Reservadas)
695k TPS with Node.js and VoltDB

70. Referências

71. NoSQL na Nuvem da AWS
aws.amazon.com/nosql

72. OFERTA
GRATUITA!
aws.amazon.com/pt/free

73. OBRIGADO!
aws.typepad.com/brasil
slideshare.net/jpapo
José Papo
AWS Tech Evangelist
@josepapo