O documento discute os serviços de banco de dados gerenciados da AWS, incluindo Amazon RDS para bancos de dados relacionais, DynamoDB para bancos de dados não relacionais e Amazon Redshift para data warehouses. Ele fornece detalhes sobre recursos, casos de uso, arquitetura e preços de cada serviço.
Os benefícios de migrar seus workloads de Big Data para a AWS
AWS DB Serviços Gerenciados
1. 2016, Amazon Web Services, Inc. ou Afiliadas. Todos os direitos reservados.
Hugo Rozestraten, arquiteto de soluções
14 de Setembro de 2016
Serviços de banco de dados
gerenciado na Amazon Web
Services
2. Pauta de hoje
• Por que serviços de banco de dados gerenciado?
• Um banco de dados não relacional gerenciado
• Um banco de dados relacional gerenciado
• Um cache de memória gerenciado
• Um data warehouse gerenciado
• Qual será o próximo passo
4. Opções para executar seu banco de dados
• Auto gerenciado—Você é responsável pelo hardware, SO,
segurança, atualizações, backups, replicação, etc., mas
tem controle total sobre ele.
• Instâncias do EC2—Você só precisa se concentrar nas
atualizações de banco de dados, patches, replicação,
backups, etc. e não precisa se preocupar com a instalação
de hardware ou do SO.
• Totalmente gerenciado—Você tem recursos como backup,
replicação, etc. como um pacote de serviços e não precisa
se preocupar com patches e atualizações.
6. Um serviço gerenciado para cada tipo
principal de DB
Armazenamento de
key-valor na
memória
Amazon
ElastiCache
Data
warehouse
Amazon
Redshift
Mecanismos do
banco de dados
SQL
Amazon
RDS
Armazenamento
de documento
e key-valor
Amazon
DynamoDB
9. Bancos de dados relacionais
Totalmente gerenciado
Desempenho rápido e previsível
Simples e rápido de escalonar
Baixo custo – pague somente por
aquilo que usar
Amazon
RDS
Amazon Aurora
10. Casos de uso
Aplicável onde quer que você precise de bancos de
dados relacionais
eCommerce Jogos
Websites Soluções de TI
Apps
Relatórios
11. Matriz de recursos do RDS
Recurso Aurora MySQL PostgreSQL MariaDB Oracle SQL Server
VPC
Alta disponibilidade
Escalabilidade da
instância
Criptografia
Réplicas de leitura
Oracle Golden
Gate
Inter-região
Armazenamento máximo 64 TB 6 TB 6 TB 6 TB 6 TB 4 TB
Armazenamento em
escala
Escalabilidad
e automática
Provisioned IOPS N/D 30,000 30,000 30,000 30,000 20,000
Maior instância R3.8XL
R3.8XL
M4.10XL
R3.8XL
M4.10XL
R3.8XL
M4.10XL
R3.8XL
M4.10XL
R3.8XL
M4.10XL
12. Amazon Aurora: rápido, disponível e compatível com MySQL
SQL
Transações
AZ 1 AZ 2 AZ 3
Cache
Amazon
S3
5x mais rápido que o MySQL
no mesmo hardware
Sysbench: 100K gravações/
seg e 500K leituras/seg
Projetado para 99,99% de
disponibilidade
Armazenamento replicado
6 vezes em 3 AZs
Escalonar até 64 TB
e 15 réplicas de leitura
13. Amazon RDS é simples e rápido de escalonar
Os tipos de instância do
banco de dados oferecem
uma série de escolhas de
CPU e memória
Dimensione para cima ou para baixo
entre tipos de demanda
O armazenamento no
banco de dados é
escalonável sob demanda
14. O Amazon RDS oferece armazenamento rápido
e previsível
General Purpose
(SSD) para a maior
parte das cargas de
trabalho
Provisioned IOPS
(SSD) para cargas de
trabalho OLTP com
até 30.000 IOPS
Magnetic para cargas
de trabalho pequenas
com acesso
infrequente
15. Implantações multi-AZ de alta disponibilidade
Solução de tolerância a falhas de nível corporativo
para bancos de dados de produção
16. Selecione réplicas de leitura para maior
escalabilidade
Leve os dados para perto dos
aplicativos do seu cliente em
diferentes regiões.
Alivie a pressão sobre o nó mestre
para suportar leituras e gravações.
Promova uma réplica de leitura a um
mestre para recuperação mais rápida
no caso de um desastre.
17. Selecione replicação inter-região para localidade de
dados avançada, até mais facilidade de migração
Recuperação ainda mais rápida no
caso de desastre
Aproxime os dados dos clientes
Promova a um mestre para fácil
migração
18. Selecione cópia de snapshot inter-região para
durabilidade ainda maior e facilidade de migração
Copie um snapshot do
banco de dados a uma
região diferente da AWS
Espera passiva para
recuperação de desastres
Base para migração a uma
região diferente
19. Como funcionam os backups do Amazon RDS?
Backups automatizados
Restaure seu banco de dados
a um ponto no tempo
Habilitado por padrão
Selecione um período de
retenção de até 35 dias
Snapshots manuais
Crie uma nova instância de banco de
dados a partir de um snapshot,
quando necessário
Iniciado por você
Persiste até você excluir
Armazenado em Amazon S3
20. Você paga pelos recursos que usar
Conta
mensal = N ×
Mais detalhes em http://aws.amazon.com/elasticache/pricing/
Duração pela qual os
nós foram usados
Número de nós
(O preço depende do
tipo de nó)
Nível gratuito (pelos 12 primeiros meses)
750 horas de microinstância de banco de dados
20 GB de armazenamento no banco de dados
20 GB para backups
10 milhões de operações E/S
+
Armazenamento
consumido
(O preço depende
do tipo de
armazenamento)
GB
23. Amazon DynamoDB
Bancos de dados NoSQL
Totalmente gerenciado
Latência inferior a milissegundos de
dígito único
Escalabilidade maciça e contínua
Baixo custo
Amazon
DynamoDB
24. Amazon DynamoDB: um documento
gerenciado e um armazenamento de key-valor
Simples e rápido de implantar
Simples e rápido de escalonar
• A milhões de IOPS
Os dados são replicados automaticamente
Desempenho rápido e previsível
• Respaldado por armazenamento SSD
Índices secundários oferecem buscas rápidas
Nenhum custo para começar; pague só pelo que consumir
25. Casos populares de uso
Veiculação de anúncios,
redirecionamento, busca de
ID, gerenciamento do perfil do
usuário, rastreamento da
sessão, RTB
Estado de rastreamento,
metadados e leituras de
milhões de dispositivos,
notificações em tempo real
Registro de detalhes do jogo,
painéis de líderes,
informações da sessão,
histórico de uso e logs
Armazenamento de perfis do
usuário, detalhes da sessão,
configurações de
personalização, metadados
específicos da entidade
Tecnologia de
anúncios
IoT Jogos
Mobile
e web
26. Gravações
Replicado continuamente para 3 AZs
Persistiu no disco (SSD personalizado)
Leituras
Fortemente ou finalmente consistente
Sem troca de latência
Replicação automática para durabilidade
e disponibilidade sólidas
27. O Amazon DynamoDB é um banco de dados sem
schema
Tabela Itens
Atributos (pares
de nome-valor)
28. Cada item deve incluir uma key
Key hash
(O DynamoDB mantém um
índice não ordenado)
29. Cada item deve incluir uma key
Key hash
Key de intervalo
(O DynamoDB mantém um
índice classificado)
31. Índices secundários globais = “gráficos pivô”
para sua tabela
Escolha quais
atributos
projetar
(se for o caso)
32. Defina o desempenho desejado usando a taxa
de transferência provisionada
Unidades com
capacidade de
leitura
Unidades com
capacidade de
gravação
1 RPS > 2,5 M
de solicitações
em um mês
33. DynamoDB: o que são unidades de capacidade?
Uma gravação por segundo
até 1 KB
Uma leitura fortemente consistente
por segundo até 4 KB
ou
Duas leituras ocasionalmente
consistentes por segundo
Uma unidade
de capacidade
de gravação
Uma unidade
de capacidade
de leitura
34. Arquitetura simples de aplicativo com o Amazon
DynamoDB
Elastic Load
Balancing Instâncias do
aplicativo
Amazon EC2
Clientes
DynamoDB
Lógica de
negócios
35. Como o faturamento do DynamoDB funciona
Conta
mensal = GB +
Pressupõe que a instância do DB é acessada somente da região da AWS
Mais detalhes em http://aws.amazon.com/dynamodb/pricing/
≈ 5 GB * $0,25 +
21 * 720 hrs * $0,0065/10 +
35 * 720 hrs * $0,0065/50
≈ $14,36
Armazenamento
consumido
(mais 100 bytes por item)
Cobrança por
unidades de capacidade
de gravação
por hora
+
Cobrança por
unidades de
capacidade de leitura
por hora
36. Como funciona a cobrança do DynamoDB
(com nível gratuito)
Conta
mensal = GB +
Pressupõe que a instância do DB é acessada somente da região da AWS
Mais detalhes em http://aws.amazon.com/dynamodb/pricing/
≈ 5–25 GB * $0,25 +
21–25 * 720 hrs * $0,0065/10 +
35–25 * 720 hrs * $0,0065/50
Armazenamento
consumido
(mais 100 bytes por item)
Cobrança por
unidades de capacidade
de gravação
por hora
Cobrança por
unidades de
capacidade de leitura
por hora
Nível gratuito (pelos 12 primeiros meses)
• Armazenamento de 25 GB
• 25 unidades de capacidade de gravação
• 25 unidades de capacidade de leitura
+
37. Como funciona a cobrança do DynamoDB
(com nível gratuito)
Conta
mensal = GB +
Pressupõe que a instância do DB é acessada somente da região da AWS
Mais detalhes em http://aws.amazon.com/dynamodb/pricing/
≈ 0 +
0 +
10 * 720 hrs * $0,0065/50
≈ $0,94
Armazenamento
consumido
(mais 100 bytes por item)
Cobrança por
unidades de capacidade
de gravação
por hora
+
Cobrança por
unidades de
capacidade de leitura
por hora
39. NoSQL vs. SQL para um novo app: como escolher?
• Schema forte,
relacionamentos
complexos, transações
e uniões
• O escalonamento é difícil
• Foco na consistência sobre
escala e disponibilidade
• Sem schema, leitura
e gravação fáceis, modelo
de dados simples
• O escalonamento é fácil
• Foco em desempenho
e disponibilidade em
qualquer escala
NoSQL SQL
41. Amazon
Redshift
muito mais rápido
muito mais barato
muito mais simples
Data warehouse relacional
Maciçamente paralelo; escala de
petabytes
Totalmente gerenciado
Plataformas HDD e SSD
$1.000/TB/ano; começa em $0,25/hora
42. Quem usa Amazon Redshift?
• Reduz de custos ao ampliar
DW em vez de adicionar HW
• Faz migração completa dos
sistemas de DW existentes
• Reage mais rápido aos
negócios; provisão em
minutos
• Melhora o desempenho em
ordem de magnitude
• Disponibiliza mais dados
para análise
• Acessa dados de negócios
via ferramentas de relatórios
padrão
• Adiciona recursos analíticos
aos aplicativos
• Escalona a capacidade de
DW conforme a demanda
aumenta
• Reduz custos de HW e SW
em ordem de magnitude
DW corporativo tradicional
Companhias com big data
Empresas de SaaSCompanhias com big data
43. Arquitetura do Amazon Redshift
Nó líder
• Endpoint SQL simples
• Armazena metadados
• Otimiza o plano de consultas
• Coordena a execução da consulta
Nós de computação
• Armazenamento colunar local
• Execução paralela/distribuída de todos os
backups, consultas, cargas, restaurações,
redimensionamentos
A partir de somente $0,25/hora,
crescimento para 2 PB (compactado)
• DC1: SSD; escalona 160 GB–326 TB
• DS2: HDD; escalona 2 TB–2 PB
10 GigE
(HPC)
Inserção
Backup
Restauração
JDBC/ODBC
44. Amazon Redshift reduz drasticamente E/S
• Com o armazenamento de linhas,
você faz E/S desnecessárias
• Para ver o valor total, é preciso ler
tudo
ID Idade Estado Valor
123 20 CA 500
345 25 WA 250
678 40 FL 125
957 37 WA 375
• Armazenamento de colunas
• Compactação de dados
• Mapas de zonas
• Direct-Attached Storage
45. • Com o armazenamento de
colunas, você lê somente os
dados de que precisa
ID Idade Estado Valor
123 20 CA 500
345 25 WA 250
678 40 FL 125
957 37 WA 375
Amazon Redshift reduz drasticamente E/S
• Armazenamento de colunas
• Compactação de dados
• Mapas de zonas
• Direct-Attached Storage
46. analyze compression listing;
Table | Column | Encoding
---------+----------------+----------
listing | listid | delta
listing | sellerid | delta32k
listing | eventid | delta32k
listing | dateid | bytedict
listing | numtickets | bytedict
listing | priceperticket | delta32k
listing | totalprice | mostly32
listing | listtime | raw
Amazon Redshift reduz drasticamente E/S
• COPY compacta
automaticamente
• Você pode analisar e substituir
• Mais desempenho, menos custo
• Armazenamento de colunas
• Compactação de dados
• Mapas de zonas
• Direct-Attached Storage
47. Amazon Redshift reduz drasticamente E/S
10 | 13 | 14 | 26 |…
… | 100 | 245 | 324
375 | 393 | 417…
… 512 | 549 | 623
637 | 712 | 809 …
… | 834 | 921 | 959
10
324
375
623
637
959
• Acompanhe os valores mínimo e
máximo de cada bloco
• Pule blocos que não contêm dados
relevantes
• Armazenamento de colunas
• Compactação de dados
• Mapas de zonas
• Direct-Attached Storage
48. Amazon Redshift reduz drasticamente E/S
• Armazenamento de colunas
• Compactação de dados
• Mapas de zonas
• Direct-Attached Storage
DW.HS1.8XL:
• Velocidade de verificação > 2 GB/seg
• Otimizado para processamento de
dados
• Alta densidade de disco
DW.HS1.XL:
49. Backups totalmente gerenciados, contínuos/
incrementais
Múltiplas cópias dentro do cluster
Backups contínuos e incrementais para
o Amazon S3
Backups contínuos e incrementais entre
regiões
Restauração de streaming
Amazon S3
Amazon S3
Região 1
Região 2
50. O Amazon Redshift oferece tolerância sólida
a falhas
Amazon S3
Amazon S3
Região 1
Região 2
Falhas de disco
Falhas do nó
Falha de rede
Desastres em nível AZ/regional
51. Você paga por aquilo que usa
Mais detalhes em https://aws.amazon.com/redshift/pricing/
Conta
mensal = N ×
Número de nós Duração pela qual os nós
foram usados
(O preço depende do tipo de nó)
Nível gratuito (trial gratuito por 2 meses)
• 750 horas no DC1.Large por mês
52. Redshift tem um grande ecossistema
Integração de dados Integradores de sistemasBusiness Intelligence
55. Armazenamento de key-valor na memória
Alto desempenho
Cache na memória redimensionável
Memcached e Redis
Totalmente gerenciado; zero admin.
Compatível com seus aplicativos existentes
Amazon
ElastiCache
56. Casos populares de uso
Camada de cache para otimização do desempenho
ou do custo de um banco de dados subjacente
Armazenamento de dados de chave-valor efêmeros
Padrões de aplicativo de alto desempenho, como
placar de líderes (para usuários de jogos),
gerenciamento da sessão, contadores de eventos,
listas na memória
57. • Totalmente gerenciado
• Autodescoberta do nó do cache
• Posicionamento do nó multi-AZ
Principais recursos do ElastiCache
• Totalmente gerenciado
• Multi-AZ com failover automático
• Persistência
• Réplicas de leitura
58. Amazon ElastiCache: arquitetura de app simples
Elastic Load
Balancing Instâncias do
aplicativo
Amazon EC2
Clientes
Amazon RDSAmazon
ElastiCache
60. Como funciona o faturamento ElastiCache
Conta
mensal = N ×
Mais detalhes em http://aws.amazon.com/elasticache/pricing/
Duração pela qual os
nós foram usados
Número de nós
(O preço depende do
tipo de nó)
Nível gratuito (pelos 12 primeiros meses)
• 750 horas de nó de microcache