O documento discute as funcionalidades do Amazon Redshift para escalar armazenamento e poder computacional on demand. Ele apresenta como o Redshift permite redimensionamento elástico e clássico para adicionar ou remover nós, e escala concorrente para lidar com picos de usuários e consultas. O documento também descreve as funcionalidades de administração e manutenção inteligentes do Redshift.

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Redshift dicas e truques:
Escalando o armazenamento
e o poder computacional
Eric Ferreira
Principal Database Engineer
Amazon Web Services
A D B 3 0 1
Elton Corrêa de Almeida
Development Specialist
Hotmart

2. Tópicos da sessão de hoje:
• Revisão Rápida de Arquitetura
• Como escalar poder computacional e armazenamento rapidamente
on demand:
• Escala concorrente (Concurrency scaling)
• Otimização automática e manutenção zero.
• Exemplo de Uso do Amazon Redshift:

3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Arquitetura
Capacidade de armazenamento e
computação escalados on demand

5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
CN1
SQL/Ferramentas BI
LN
JDBC/ODBC
CN2 CN3 CN1
SQL/Ferramentas BI
LN
JDBC/ODBC
CN2 CN3 CN4 CN5 CN6
Transferência Binaria
• Dados copiados e redistribuídos
• Cluster em modo de leitura durante o processo
• Opção de mudar tipo de Nó
Redimensionamento Clássico permite flexibilidade

6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Redshift Redimensionamento Elástico (Novo) - Elastic Resize
Como funciona:
O Amazon Redshift atualiza o snapshot no
Amazon S3 com os dados mais recentes.
Novos nós são adicionados (scaling up) ou
removidos (scaling down) durante esse
período.
O cluster está disponível para queries de
leitura e escrita. Queries que estão em
espera são alocadas em uma fila
automaticamente.
1
2
3
Escale seus clusters
Amazon Redshift em
minutos para otimização
de performance. Amazon
Redshift
Cluster
Amazon Redshift
Managed S3
JDBC/ODBC
Leader Node
CN2CN1 CN3 CN4
Backup

7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
DS2.8XL
DC2.8XL
DS2.XL
DC2.L
X 2X½ X
X 2X½ X
As opções do Elastic resize dependem do tipo de nó

8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Quando utilizar o Elastic resize vs. Classic resize
Alteração do tipo de nó
Irá aumentar além do dobro
ou cortar os nós em menos da metade?
Elastic Resize
Classic Resize
Sim
Não
Não

9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Com o elastic resize, você pode adicionar ou subtrair nós
em minutos
 Escale poder computacional e armazenamento on
demand
 Processamento mais rápido de queries
 Termine tarefas grandes de ETL mais rápido
 Diminua custos on demand fora do seu horário de pico
Resumo: Elastic resize

10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Redshift – Redimensionamento Elástico FAQs
Quando escolher Elástico ou Clássico?
Quais são os fatores que irão estimar o tempo de execução do
redimensionamento?
Como acompanhar o progresso de um Elastic Resize?

11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
<1 minute 15 minutes >20 minutes
Tempo diário de
fila de
execução
Os outros 13% tem
picos de atividade em
media de
10 minutos por vez
dos clientes
Amazon Redshift não tem
tempo significativo de espera

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Apresentando Concurrency Scaling (Escala de Concorrência )
Um novo recurso que fornece performance rápida e consistente,
mesmo com milhares de usuários e consultas concorrentes. O
Amazon Redshift automaticamente adiciona e remove capacidade
computacional conforme as necessidades do seu workload.

13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Concurrency Scaling
O Amazon Redshift automaticamente adiciona clusters
transientes em segundos, para servir picos inesperados
com requisições concorrentes para rápida performance.
Backup Caching Layer
Como funciona:
O Amazon Redshift
automaticamente sobe um novo
cluster, executa as consultas em
espera e encerra automaticamente o
cluster de Concurrency Scaling.
1
2
3
Para cada 24 horas que seu
cluster principal está em uso,
você acumula um crédito de
uma hora para Concurrency
Scaling. Isso significa que
Concurrency Scaling é gratuito
para >97% dos clientes.
Novo
Todas as consultas vão para o nó líder, o
usuário experimenta menos espera nas
queries.
Quando consultas designadas na fila
do WLM começam a enfileirar, o
Amazon Redshift automaticamente faz
o roteamento para o novo cluster,
permitindo automaticamente o
Concurrency Scaling.

14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
A cada 24 horas que seu cluster principal
está em uso, você acumula um crédito de
uma hora para uso de concurrent cluster.
97% dos usuários nunca serão
cobrados pelos recursos de escala
automática
0
2000
4000
6000
8000
10000
12000
5 40 80 120 150 180
Consultasporhora(QpH)
Número de usuários ativos
Escala de throughput linear
Amazon Redshift’s escala de throughput
com usuários concorrentes

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Concurrency Scaling é um novo recurso
do Amazon Redshift muito poderoso.
Nós ficamos muito impressionados pela
performance deste recurso,
especialmente com a sua habilidade
instantânea de adicionar capacidade
transiente com nada a ser gerenciado do
nosso lado. Como administradores do
Amazon Redshift na Yelp, acreditamos
que com o Concurrency Scaling , iremos
manter nossos diversos usuários muito
satisfeitos, mesmo durante os picos de
utilização. Estamos muito animados que
o Concurrency Scaling nos proporciona a
flexibilidade em lidar com a significativa
variância dos nossos workloads durante
o curso do dia.
-Shahid Chohan,
Engenheiro de Software, Yelp

18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Concurrency Scaling FAQs
Existe alguma restrição em relação ao tipo de workload que pode
rodar nos novos clusters? O cliente precisa controlar isso?
Como o cliente irá configurar o concurrency scaling? Quais são as
opções?
Eu irei notar um grande impacto no custo durante os períodos quando
a concorrência e o cluster transiente forem iniciados?

19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Administração inteligente e manutenção
As tarefas de manutenção são automáticas
Customização é possível

20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Administração inteligente e manutenção automática
Distribution Key Recomendações para Distribution Key
Sort Key Recomendações para Sort Key
Concorrência
Automática
Automação da concorrência, tornando-
a dinâmica
Vacuum Vacuum automático em background
Analyze Analyze automático em background

21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Fácil de usar: Vacuum Delete
O Amazon Redshift agora
recupera automaticamente o
espaço de linhas deletadas,
melhorando a performance e
espaço de utilização.
Tabela com
linhas deletadas
Amazon Redshift
Worker Thread Auto
Vacuum
Tabela com linhas
contínuas
Quando você deleta ou atualiza
linhas, o Amazon Redshift as
marca para deleção e o Vacuum
Delete remove as linhas deletadas
para aprimorar a performance e
liberar espaço.
Amazon Redshift agora
prioriza tabelas que
necessitam ser
“enxugadas” e quando a
utilização do cluster está
baixa, o Amazon Redshift
.
Este recurso está disponível em
todas as regiões.
Novo!

22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Fácil de usar: Auto Analyze
Amazon Redshift agora
coleta automaticamente
estatísticas da tabela
para executar consultas
com performance
aperfeiçoada
Amazon Redshift
Query planner
Table statistics Amazon Redshift Worker
Thread Auto Analyze
Analyzethistable
Estatísticas atualizadas nas tabelas
são importantes para o otimizador
de consultas do Amazon Redshift
para criação de planos de execução.
Amazon Redshift detecta
alterações na tabela e
quando o uso do cluster
está baixo e
em background,
para que você não tenha
que rodar o ANALYZE
manualmente.
Essa funcionalidade está
disponível em todas as regiões.
Novo!

23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Administração e Manutenção Inteligente FAQs
Eu preciso rodar o vacuum e analyze?
Como eu posso rastrear o histórico de trabalho do vacuum?
Como saber o que vem por aí nas melhorias de gerenciamento
do Amazon Redshift?

24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Redshift Advisor: o melhor amigo do seu DBA
• Amazon Redshift expert system disponível no Console AWS
• Identifica comportamento não desejado de usuários para resoluções
provendo recomendações de melhorias de alto impacto e redução de
custos
• >96% dos clusters tem feedback adequado
• Acessos a WLM, comando COPY, armazenamento, e feedback de
manutenção de sistema

25. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
A Hotmart é a maior empresa
especializada na venda e
distribuição de produtos digitais
da América Latina, líder de
mercado desde sua fundação, em
2011.
Em constante processo de
internacionalização, a empresa
possui escritórios em Belo
Horizonte, Madri, Amsterdã,
Bogotá e Cidade do México.

27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
v
+5 MilhõesDE COMPRADORES
+200
PAÍSES
DIFERENTES
+150 Mil
PRODUTOS
+2 Milhões
DE USUÁRIOS

28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
INGESTÃO
TRANSFORMAÇÃ
O
ARMAZENAMENT
O
VISUALIZAÇÃO
Amazon
Kinesis
Amazon Kinesis
Data Analytics
AWS Glue
Amazon EMR
S3
Amazon Athena
Amazon Redshift
Elasticsearch
Kibana
Hotmart Analytics

29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
HOTMART
Datahub
Amazon
Amazon
Amazon
Amazon
Amazon
Amazon
Amazon
Amazon
Amazon
Kinesis Data
Firehose
Amazon

30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
2015 2018 2019 May/201
9
Total
de
200 GB
200 GB
Por
mês
4 TB
Por
mês
13 TB
Bytes
processados

31. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Recapitulando a sessão de hoje:
• Como escalar poder computacional e armazenamento rapidamente on
demand:
• Redimensionamento elástico e clássico (Elastic and Classic Resize)
• Escalar poder computacional automaticamente para lidar com milhares de
usuários e queries concorrentes:
• Escala concorrente (Concurrency scaling)
• Como o Amazon Redshift otimiza automaticamente recursos e realiza
tarefas de manutenção para assegurar a melhor performance ao menor
custo conforme o uso da escalabilidade.
• Vimos como o Hotmart utiliza Amazon Redshift

32. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Unload
to Parquet
Amazon Redshift
Outras Novidades
Velocidade
Escala
WLM
Concurrency
Setting
Simplicidade
Amazon Lake
Formation
integration
Secgurança
Auto-
Vacuum &
Auto-
Analyze
Auto Data
Distribution
Deferred
Maintenance
Snapshot
Scheduler
Spectrum
Request
Accelerator
10x average
performance
improvement
Elastic
resize
Concurrency
Scaling
Improving
short query
acceleration
Stored
procedures

33. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Próximos passos?
• Confira o Amazon Redshift Advisor no seu cluster(s).
• Veja como aumentar o poder do seu cluster e diminuir
custos.
• Veja o seu Workload Management visando o
Concurrency Scaling.
• Preste atenção na janela de manutenção
reduções/eliminações.
• Compartilhe seu feedback/ideias com a gente. Vocês
realmente ajudam nas melhorias do Amazon Redshift.
Veja o que o Advisor
pode fazer por você!
Usuários do Amazon Redshift
• Comece com https://aws.amazon.com/redshift/getting-started/
• Experimente o Amazon Redshift com o free trial.
• Compartilhe seu feedback/ideias
Novo no Amazon Redshift?
Tweet usando
#AmazonRedshift

34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Thank you!
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Eric Ferreira
ericfe@amazon.com
Elton Corrêa de Almeida
hotmart.dev/elton

35. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I TS U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
“Por favor, responda a pesquisa ao final
da sessão no app. Ao finalizar a
pesquisa, passe no Help Desk e retire
seu brinde!”