Scale fearlessly with Amazon DynamoDB adaptive capacity - ADB302 - São Paulo AWS Summit

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Escale sem medo com Amazon
DynamoDB sob demanda
Hugo Rozestraten
Arquiteto de Soluções Especialista - AWS
Leonardo Henrique Lages Pereira
Analista de sistemas sênior - Tribanco
A D B 3 0 2

Objetivos
Usar DynamoDB de forma mais eficiente
Como a escalabilidade no DynamoDB realmente funciona, de 1 a
milhões de RPS
O que há de novo no recurso sob demanda
Quando usar modo provisionado ou sob demanda

Por que NoSQL?
Otimizado para Storage Otimizado para computação
Normalizado / relacional Desnormalizado / hierarquico
Ad hoc queries Visões instantâneas
Escala Vertical Escala Horizontal
Bom para OLAP Feito para OLPT em escala
SQL NoSQL

DynamoDB
Documento ou Key-Value Escala para qualquer
carga
NoSQL
Totalmente Gerenciado
Controle de Acesso Programação baseada
em eventos
Rápido e Consistente

Tabela
Tabela
Itens
Atributos
Partition
Key
Sort
Key
Mandatório
Padrão de acesso Key-value
Determina a distribuição do
dado
Opcional
Modelo 1:N relacionamentos
Permite queries avançadas
All items for key
==, <, >, >=, <=
“begins with”
“between”
“contains”
“in”
sorted results
counts
top/bottom N values

Audible eBook Sync Service
• Permite salvar sessões
Audible eBooks
• Mantém mapaemento por
usuário do eBook e
produtos de áudio
• Picos de carga requerem
capacidade variável
• Padrão de acesso alto
número de usuários

Padrões de Acesso
# USE CASE
1 CompanionMapping getCompanionMappingsByAsin
2 CompanionMapping getCompanionMappingsByEbookAndAudiobookContentId
3 CompanionMapping getCompanionMappingsFromCache
4 CompanionMapping getCompanionMappings
5 CompanionMapping getCompanionMappingsAvailable
6 AcrInfo getACRInfo
7 AcrInfo getACRs
8 AcrInfo getACRInfos
9 AcrInfo getACRInfosbySKU
10 AudioProduct getAudioProductsForACRs
11 AudioProduct getAudioProducts
12 AudioProduct deleteAudioProductsMatchingSkuVersions
13 AudioProduct getChildAudioProductsForSKU
14 Product getProductInfoByAsins
15 Product getParentChildDataByParentAsins
16 AudioFile getAudioFilesForACR
17 AudioFile getAudioFilesForChildACR
18 AudioFile getAudioFilesByParentAsinVersionFormat
19 AudioFile getAudioFiles
20 AudioFile getAudioFilesForChildAsin

Tabela primária
T
A
B
L
E
Primary Key
Attributes
PK SK (GSI 3)
ABOOKACR1
v0#ABOOKACR1
GSI-1 GSI-2
ABOOK-ASIN1 ABOOK-SKU1
EBOOKACR1
GSI-1 GSI-2
SyncFileAcr ABOOK-ASIN1
ABOOKACR1#TRACK#1
GSI-1 GSI-2
ABOOKACR1#TRACK#2
GSI-1 GSI-2
EBOOKACR1 EBOOKACR1
GSI-1 EBookAsin
EBOOK-SKU1 ASIN

Índices
G
S
I
1
Partition Key Projected Attributes
ABOOK-ASIN1 ABOOKACR1
ABOOKACR1-v1
ABOOKACR1#TRACK#1
ABOOKACR1#TRACK#2
SyncFileAcr ABOOKACR1 MAP-EBOOKACR1
EBOOK-SKU1 ABOOKACR1 EBOOKACR1
G
S
I
2
Partition Key Projected Attributes
ABOOK-ASIN1 ABOOKACR1 MAP-EBOOKACR1
ABOOK-SKU1 ABOOKACR1
ABOOKACR1-v1
ABOOKACR1#TRACK#1
ABOOKACR1#TRACK#2
G
S
I
3
GSI Partition Key Projected Attributes
V0#ABOOKACR1 ABOOKACR1 ABOOKACR1-v1
EBOOKACR1 ABOOKACR1 MAP-EBOOKACR1
ABOOKACR1#TRACK#1 ABOOKACR1 ABOOKACR1#TRACK#1
ABOOKACR1#TRACK#2 ABOOKACR1 ABOOKACR1#TRACK#2
EBOOKACR1 ABOOKACR1 EBOOKACR1

Queries# USE CASE Lookup parameters INDEX Key Conditions Filter Conditions
1 CompanionMapping getCompanionMappingsByAsin audiobookAsin/ebookSku GSI2 GSI-2=ABOOK-ASIN1 None
2 CompanionMapping
getCompanionMappingsByEbookAndA
udiobookContentId
ebookAcr/sku,version,format or
audiobookAcr/asin,version,format
GSI-3 on TargetACR attribute OR
PrimaryKey on Table
GSI-3=MAP-EBOOKACR1 version=v and format=f
3 CompanionMapping getCompanionMappingsFromCache
ebookAcr/sku,version,format or
audiobookAcr/asin,version,format
GSI-3 on TargetACR attribute OR
PrimaryKey on Table
GSI-3=MAP-EBOOKACR1 version=v and format=f
4 CompanionMapping getCompanionMappings
syncfileAcr, ebookAcr?,
audiobookAcr?
GSI1 GSI-1=SyncFileAcr None
5 CompanionMapping getCompanionMappingsAvailable ebookAcr, audiobookAcr Primary Key on Table
Acr=ABOOKACR1 and
TargetACR beginswith "MAP-"
6 AcrInfo getACRInfo acr Primary Key on Table
Acr=ABOOKACR1 and
TargetACR beginswith "ABOOKACR1-
v"
7 AcrInfo getACRs acr / asin,version,format Primary Key on Table Acr=ABOOKACR1 version=v and format=f
8 AcrInfo getACRInfos acr Primary Key on table
Acr=ABOOKACR1 and
TargetACR beginswith "ABOOKACR1"
9 AcrInfo getACRInfosbySKU sku GSI2 GSI-2=ABOOK-SKU1
10 AudioProduct getAudioProductsForACRs acr Primary Key on table
Acr=ABOOKACR1 and TargetACR
beginswith "ABOOKACR1"
11 AudioProduct getAudioProducts sku, version, format GSI2 GSI-2=ABOOK-SKU1 version=v and format=f
12 AudioProduct
deleteAudioProductsMatchingSkuVersi
ons
sku, version GSI2 GSI-2=ABOOK-SKU1 version=v
13 AudioProduct getChildAudioProductsForSKU sku GSI2 GSI-2=ABOOK-SKU1
14 Product getProductInfoByAsins asin GSI1 GSI-1=ABOOK-ASIN1
15 Product getParentChildDataByParentAsins asin GSI1 GSI-1=ABOOK-ASIN1
16 AudioFile getAudioFilesForACR acr Primary Key on table
Acr=ABOOKACR1 and
TargetACR beginswith "ABOOKACR1#"
17 AudioFile getAudioFilesForChildACR acr, parent_asin Primary Key on table Acr=ABOOKACR1 version=v and format=f
18 AudioFile
getAudioFilesByParentAsinVersionForm
at
parent_asin, version, format GSI1 GSI-1=ABOOK-ASIN1 version=v and format=f
19 AudioFile getAudioFiles sku, version, format GSI2 GSI-2=ABOOK-SKU1 version=v and format=f
20 AudioFile getAudioFilesForChildAsin asin, parent_asin, version, format GSI1 GSI-1=ABOOK-ASIN1 version=v and format=f

Planejamento de capacidade de banco de dados

Escalabilidade Vertical

Scaling NoSQL DBsEscalabilidade Horizontal

O problema de acesso irregular comum para NoSQL
através de dados e tempo

Basta pensar em um acesso uniforme dos dados, certo?
Pode ser muito difícil na prática
Muitos bancos de dados não-relacionais não são tão flexíveis
Se o seu banco de dados não for flexível, sua aplicação terá mais esforço
Como o DynamoDB resolve estes problemas para
os clientes?

DynamoDB se adapta à sua aplicação, não o inverso

Funções chave sobre a capacidade sob demanda
Particionamento Dinâmico Gestão de Throughput

Server 1
T1.p1
Table
1
Table
2
Table
3
Server N
T1.p2
Nos bastidores…

T1
Server 1
p.A
Escalabilidade de armazenamento

Server 1
T1
Server 2
A B

Server 1
T1
Server 2 Server 3
A B C

Server 1
T1
Server 4 Server 2 Server 3
A D B C

Resumo sobre particionamento dinâmico
Particionamento automático para balancear armazenamento e taxa de
transferência (throughput)
Particionamento baseado na taxa de transferência já disponível no modo
sob demanda

Tabela
(itens)
Limites por item:
1,000 gravações por seg
6,000 leituras por seg (EC)

DynamoDB - diagnóstico de chaves
Gráficos de itens mais
acessados
Rotinas wrapper mais leves
com DynamoDB SDK
Templates AWS
CloudFormation

Server 1
T1
Server 4 Server 2 Server 3
A D B C
Governança na capacidade sob demanda em 2018
A

Server 1 Server 4 Server 2 Server 3
D B C
AA
T1

Prós:
Acomoda cargas de trabalho irregulares
Contribui para maior eficiência (menor provisionamento de RCUs e WCUs)
Contras:
Resposta do processo reativo leva de 5 a 30 minutos

Novo em 2019
Capacidade sob demanda instantânea
Fim do tempo de resposta
Partições respondem instantaneamente a mudanças de tráfego

Server 1
T1.p1
Table
1
Table
2
Table
3
Server N
T1.p2
Capacidade sob demanda instantânea – Como funciona

Capacidade sob demanda instantânea
DynamoDB se preocupa com o que a tabela pode fazer e não o que as
partições podem fazer.
Principais benefícios:
• Adapta-se instantaneamente a cargas de trabalho irregulares
• Mantém cargas de trabalho irregulares indefinidamente
• Auxilia a reduzir os gastos com DynamoDB
• Habilitado por padrão, sem custos extras

Ganhe mais escalabilidade e tenha performance
consistente sem se preocupar com partições e
padrões de acesso irregulares

DynamoDB sob demanda
Recursos
• Sem necessidade de planejar capacidade
ou reservá-la – faça apenas chamadas
API
• Pague somente pelas leituras/escritas
que executar
Benefícios principais
• Elimina tradeoffs de provisionamento
em excesso e subprovisionamento
• Adapta-se instantaneamente a carga de
trabalha quando o tráfego oscilar para
cima ou para baixo

Qual é a capacidade máxima de
escalabilidade do modo sob
demanda?

Capacidade de escalabilidade no modo sob demanda
Throughput mínimo
• Até 4,000 Unidades de Soliciação de Escrita (WCUs): 4,000 gravações/seg
• Até 12,000 Unidade de Solicitação de Leitura (RCUs): 24,000 leituras/seg
• Qualquer combinação linear de ambos
Throughput máximo
• Sem limite!
Pague por requisição: não use nada, não pague nada

DynamoDB
request rate
Maximum
throughput
“Até 2x o pico anterior”

“Até 2x o pico anterior”

Particionamento Dinâmico

Aumento instantâneo da taxa de transferência

Observações importantes
Dobrar a escalabilidade inicial pode levar até 30 minutos
Tráfegos seguintes escalam instantâneamente
Continuamente monitorado
• Não é preciso atingir 2x o pico para aumentar a taxa de transferência
• Adapta-se facilmente ao crescimento sem empecilhos

Modo sob demanda caso de uso– Carga de trabalho irregular

Impacto no negócio

Quando usar provisionado vs. sob demanda
Use o modo provisionado para:
• Cargas de trabalho consistentes
• Aumento graduais
• Eventos com tráfego conhecido
• Monitoramento contínuo
Use sob demanda para:
• Cargas de trabalho
imprevisíveis
• Cargas de trabalho que se
tornem ociosas com
frequência
• Tráfego desconhecido
• “Crie e esqueça”
Considere sua tolerância para overhead
provisionamento em excesso

Analista de sistemas sênior - Tribanco

Nasceu para ajudar o varejo
brasileiro crescer.

Criado em 1990 para ser o integrador de soluções
financeiras a varejistas e indústrias parceiras do
SIM, fortalecendo a cadeia de produção e
distribuição.
Empresa com plataforma completa de cartões
que ajudam o varejista a estreitar o
relacionamento com seus clientes e
alavancar vendas.
Corretora de seguros com produtos que protegem
o patrimônio de nossos clientes varejistas e
também dos consumidores, por meio dos seguros
ofertados no cartão Tricard.
Soluções em recebimento de vendas com meios
de pagamento eletrônico para varejistas do SIM
com benefícios e diferenciais que proporcionam
alavancagem nos negócios.

Cenário Inicial
• DynamoDB
Banco de dados não relacional
Alta performance
SaaS
• Auto Scaling
High time
Capacidade de leitura máxima
• Custo
DynamoDB

Solução
• DAX
3M Transações de negócios / mês
11.2M DAX requisições / mês
• Refatorando as aplicações
Remover consultas scan
Evitar consultas query
Criar indices secundários
Trabalhar com itens Get/Put
• Configuração do Cache
dax.t2.small
Items TTL 7 days
Query TTL 1s
DynamoDB

Melhorias
• Cache
• 98% Cache Hit
• Provisionamento de Leitura
• Redução de 10x nas unidades de
Leitura utilizadas.

Melhorias
• Redução de Custo
• Proporção 68% do valor
total.
• Após utilizar DAX 6% do
valor Total.
• Custo DAX 3% do valor
total
0
2000
4000
6000
8000
10000
12000
14000
16000
Nov-17 Dec-17 Jan-18 Feb-18 Mar-18 Apr-18 May-19
Consumo Mensal Tribanco
DynamoDB Total

Tipos de capacidades do DynamoDB
Provisionado Sob demanda
Governança
Instantâneo (capacidade
provisionada)
Instantâneo (limite da conta)
Limites
padrões(aumentável)
40,000 USG, 40,000 USL 40,000 USG, 40,000 USL
Particionamento
Dinâmico
(armazenamento)
Automático Automático
Particionamento
Dinâmico (taxa de
transferência)
Não disponível no momento Automático
Biblioteca de
diagnósticos de chave
Suportado Suportado

Notas importantes
Escale para mais ou para menos livremente, mesmo com padrões de
acesso imprecisos
Foco no tráfego da aplicação das tabelas e itens, não nas partições
Modo provisionado para incrementos graduais, sob demanda para picos

Thank you!
Hugo Rozestraten
hhug@amazon.com
Tribanco

“Por favor, responda a pesquisa ao final
da sessão no app. Ao finalizar a
pesquisa, passe no Help Desk e retire
seu brinde!”

Scale fearlessly with Amazon DynamoDB adaptive capacity - ADB302 - São Paulo AWS Summit

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Scale fearlessly with Amazon DynamoDB adaptive capacity - ADB302 - São Paulo AWS Summit

Semelhante a Scale fearlessly with Amazon DynamoDB adaptive capacity - ADB302 - São Paulo AWS Summit (20)

Mais de Amazon Web Services

Mais de Amazon Web Services (20)

Scale fearlessly with Amazon DynamoDB adaptive capacity - ADB302 - São Paulo AWS Summit