Sessão Avançada: Construindo um Data Warehouse Moderno com Amazon Redshift - BDA302 - Sao Paulo Summit

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Angelo Carvalho
Principal Solutions Architect
BDA302
Construindo um Data Warehouse
moderno: Deep Dive no Amazon
Redshift
Felipe Duarte
Coordenador de DW/BI

Introdução
Amazon Web Services
Visão Geral do Amazon Redshift
Funcionalidades recém lançadas e futuras
Cliente: Dafiti Group
Agenda

Arquitetura de Analytics na AWS
Ingestão Armazenament
o
Análise
Amazon Kinesis
Data Firehose
AWS Direct
Connect
Amazon
Snowball
Amazon Kinesis
Data Analytics
Amazon Kinesis
Data Streams
Amazon S3 Amazon Glacier
Amazon
CloudSearch
Amazon RDS,
Amazon Aurora
Amazon
DynamoDB
Amazon ES
Amazon EMR
Amazon
Redshift
Amazon
QuickSight
AWS Database Migration Service AWS Glue
Amazon Athena
Amazon AI

Amazon Redshift
10x mais rápido a 1/10 do custo
Rápido
Entrega resultados rápidos
para todos os tipos de
workloads
Custo-benefício
Sem custos custos iniciais,
começe pequeno, e pague o
que utilizar
Integrado Seguro
Audite tudo, criptografe os
dados de ponta a ponta,
certificação e compliance
extensivo
Integrado com data lakes no
Amazon S3, serviços AWS, e
ferramentas de terceiros
$
Simples
Crie e comece a usar um
data warehouse em minutos
Escalável
Gigabytes a petabytes,
a exabytes

Redshift Spectrum
Extenda o data warehouse para o seu data lake no Amazon S3
Escale computação e storage separadamente
Cruze dados entre o Amazon Redshift e Amazon S3
Amazon Redshift SQL pesquisa exabytes de dados
no Amazon S3
Performance de queries estável e concorrência
ilimitada
Formatos: Parquet, ORC, Grok, Avro, & CSV
Pague somente de acordo com a quantidade de
dados processados
Amazon S3
data lake
Amazon
Redshift data
Redshift Spectrum
query engine

Amazon
Redshift
JDBC/ODBC
...
1 2 3 4 N
Amazon S3
Storage de objetos em
escala de Exabytes
AWS Glue
Catálogo de
Dados
Amazon Redshift Spectrum
Computação serverless com
escalabilidade horizontal
Query
SELECT COUNT(*)
FROM S3.EXT_TABLE
GROUP BY …
Arquitetura do
Amazon Redshift

Amazon Redshift possui Self-Healing
Prevê e remedia discos degradados, nós,
cluster e problemas de rede
Garante a performance geral do cluster e das
queries
Amazon S3
Region 1
Region 2
Amazon S3
Compute node Compute node Compute node

Milhares de Organizações Executam Workloads de
Missão Crítica no Amazon Redshift

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave™ are trademarks of Forrester Research, Inc. The Forrester Wave™ is a graphical
representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor,
product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.
“Amazon Redshift tem a maior adoção de
BDW na nuvem.”
“Com mais de 5.000 deployments, Amazon
Redshift tem o maior deployment de data
warehouse na nuvem – alguns acima de 10
petabytes em tamanho.”
AWS recebeu um score de 5/5 (o maior
score possível) em: base de clientes, market
awareness, habilidade para executar, road
map, suporte, e partners
Forrester Wave Big Data Warehouse Q2 2017

Amazon Redshift está disponível Globalmente
Ireland
Frankfurt
London
Beijing
Mumbai
Seoul
Singapore
Sydney
Tokyo
Sao Paulo
US East – N Virginia
US East – Ohio
US West – Oregon
US West – N California
AWS GovCloud (US)
Canada – Central, Montreal

Parceiros Selecionados Amazon Redshift
Data Integration Systems IntegratorsBusiness Intelligence

Funcionalidades Lançadas Recentemente

Customer Comments
“We have terabytes of event data coming from our
websites and applications to Amazon S3 and then to
Amazon Redshift in near real time. Amazon Redshift
is at the core of our operations and used by our
marketing automation tools,” said Jarno Kartela,
Head of Analytics and Chief Data Scientist, DNA.
“We can now run queries in half the time.”
“Amazon Redshift allows us to quickly spin up clusters and
provide our data scientists with a fast and easy method to
access data and generate insights,” said Bradley Todd, Liberty
Mutual’s Technology Architect. “We saw a 9x reduction in
month-end reporting time with Amazon Redshift DC2 nodes
as compared to DC1."
“We use Redshift Spectrum for interactive online
queries,” said Hyung-Joon Kim, Principle Software
Engineer, BrandVerity. "The new DC2 node from
Amazon Redshift has given us a 70 percent
performance boost for running Redshift Spectrum
queries. As a result, we can analyze far more data
for our customers and deliver results much faster."

Dense Compute Nodes (DC2)
2x a performance pelo mesmo preço das DC1
3x mais I/O com
30% melhor utilização do storage
que a DC1
“O novo nó DC2 do Amazon Redshift está
entregando 100 por cento de aumento de
performance, nos permitindo fornecer
insights mais rápidos para os nossos
varejistas, com melhor custo benefício, para
gerar receita incremental."
NVMe SSD Memória DDR4
Intel E5-2686 v4 (Broadwell)

Aceleração para Queries rápidas
Via Expressa para Queries rápidas
• Queries curtas não ficam presas entre queries longas
• Maior throughput – Menos variabilidade
• Se adapta ao seu workload
• Transparente – simplesmente funciona!
Tempo Médio de Espera na Fila para Queries Curtas (<1 sec.)

Aceleração para Queries rápidas
Via Expressa para Queries rápidas
• Machine learning prevê o
tempo de execução das
queries
• Queries rápidas são roteadas
para uma fila expressa
• SQA Elástico: Recursos
dinamicamente dedicados
para servir um burst de
queries curtas
• Habilite hoje no seu
console de gerenciamento
AWS
Como funciona:
Analytics e
BI / Ferramentas e
Dashboards
Amazon
Redshift Machine Learning
Classifier
Machine learning

BI / Dashboard tools
Analytics and
Amazon
Redshift
Queries vão para o nó lider1
Se o cache contém o resultado da
query, o valor é retornado
2
Se o resultado não está no cache, ele
é então executado, e o resultado é
cacheado
3
RESULTS CACHE
QUERY_ID RESULT
QUERY_ID RESULT
Caching de Resultados
Queries repetidas em menos de 1 segundo
Como funciona:
Result
cache
Caching libera recursos no cluster, melhorando
a performance de todas as queries

Caching de Resultados
Queries repetidas em menos de 1 segundo
• Clientes do Amazon Redshift podem agora servir 35% mais queries em
média, usando os mesmos recursos computacionais
• Dezenas de milhares de horas de computação foram liberadas diariamente
para servir outras queries ou ingestão de dados
• Transparente – Simplesmente Funciona!

Mais lançamentos…
• Dentro dos últimos meses, nós adicionamos suporte para
• Queries de leitura dentro de um bloco transacional
• Funcões definidas por usuário baseadas SQL-based
• Cursor queries
• Prepared statements

Melhorias no Commit
Ingestão e inserção de dados 16% mais rápidos
Commits de dados para cluster sobrecarregados 40% mais rápidos
Nov Dec Jan Feb Mar
Total Commit Time by Month
ds2.8xlarge, cluster size: 10 and up, us-west-2
Clusters with more than 90 backups a day
p99 p95 p90 p50 Linear (p99)
-50%
-30%
-30%
-20%
Commit Duration Per Transaction for Busy Clusters

Ingestão de Arquivos Parquet e ORC (Novo)
• Parquet
• Avro
• Json
• TXT
• ORC
• CSV

Melhorias no Redshift Spectrum
• Disponível em 14 Regiões da AWS
• Adicionado suporte para processamento de formatos de arquivo
escalares JSON e ION no Amazon S3
• Avro, CSV, Grok, ION, JSON, ORC, Parquet, RCFile, RegexSerDe,
SequenceFile, TextFile, e TSV
• Suporte para IAM role-chaining para assumir cross-account roles
• Expande os data lakes para departamentos diferentes e para uso de
serviços diferentes
• Suporte para tipos de dados DATE
• Melhorias de Performance
• Push down to Spectrum CASE, IS [NOT] NULL, Coalesce, *TRIM,
regex, ++, date/timestamp filters
• Melhor load balancing entre nós de computação

Dados Aninhados (em breve)
• Analise de dados aninhados e semi-estruturados no Amazon S3 com o
Spectrum
• Permite fácil ETL de dados aninhados para o Amazon Redshift usando CTAS
• Supporte para formatos de arquivos abertos: Parquet, ORC, JSON, Ion, e
AVRO
• Uso de notação de ponto para exteder seu SQL existente
s3data.clickStream: <<
{ “session_time”: “20171013 14:05:00”,
“clicks”: [ {“page”: “/home”, “referrer”: “”},
{“page”: “/products”, “referrer”: “/home”} ]
},
{ “session_time”: “20171013 14:06:00”,
“clicks”: [ {“page”: “/contact”, “referrer”: “/home”} ]
} >>
SELECT c.page,
COUNT(*) AS count
FROM s3data.clickStream s,
s.clicks c
WHERE s.session_time > ‘2017-10-01 00:00:00’
AND c.referrer = “/home”
GROUP BY c.page;
Exemplo: Pesquise a frequência de clicks para os links em “/home”:

Dados Aninhados (em breve)
Aumento de performance das queries através da análise de dados aninhados
OrderID CustomerID OrderTime ShipMode
5 23 10.00 12.50
8 32 1.00 5.60
OrdersWithItems
ItemID Quantity Price
23 10.00 12.50
16 1.00 1.99
32 1.00 5.60
24 5.00 26.50
OrderItems
OrderID ItemID Quantity Price
5 23 10.00 12.50
8 32 1.00 5.60
5 16 1.00 1.99
8 24 5.00 26.50
OrderID CustomerID OrderTime ShipMode
5 23 10.00 12.50
8 32 1.00 5.60
Orders
OrderItems
Para melhorar a
performance das
queries, a nova
tabela Orders inclue
OrdersWithItems
como uma coluna
aninhada,
eliminando o
processamento do
join

“Os serviços da AWS tornaram
nossas soluções mais dinâmicas,
trazendo um leque de
possibilidades para alvancar o
negocio.”
**fontes: https://ecommercenews.com.br/noticias/balancos/dafiti-group-cresce-221-em-q4-2017/
https://exame.abril.com.br/negocios/por-dentro-da-dafiti-em-sao-paulo-e-jundiai/
Dafiti Group e-commerce com três marcas:
• Dafiti
• Kanui
• Tricae
Presente em 4 países:
• Brasil
• Argentina
• Chile
• Colômbia
Maior e-commerce de moda e lifestyle da América Latina**
O SPECTRUM PERMITIU
POTENCIALIZAR O PODER DE
PROCESSAMENTO DO
REDSHIFT, REDUZINDO O
CUSTO PARA DISPONIBIZAR OS
DADOS PARA TODAS AS
ÁREAS DE NEGÓCIO.

• Diminuir o custo com Redshift.
• Retirar o rawdata do Redshift.
• Ampliação do uso para novas áreas do negócio.
• Plataforma com custo reduzido.

SOLUÇÃO
Databases APIS Demais fontes
Redshift Data Warehouse
Internal ApplicationsData Visualization Tools
EC2 ETL – In-House SolutionData Lake S3 (RAWDATA)
ORC/PARQUET
Amazon
Athena
Amazon
EMR
Alta disponibilidade e confiabilidade
Escalável de acordo com a demanda
Alta performance
Ótimo custo benefício
Rapidez na implantação

• Migração de DC1 para DC2, ganho de 2x mais throughput.
• Média de queries Executadas no Redshift por Dia 54.600
• Média de queries Executadas usando o Spectrum por Dia 9.500
• Quantidade de Tabelas Externas (Spectrum) 2.554
• Quantidade de Tabelas Internas (Redshift) 3.560
• Tamanho do Database do Redshift 7.9TB
• Tamanho do Data Lake S3 8.4TB
• Quantidade Total de Objetos Data Lake S3 868.943

Sumário

Mais informações: https://aws.amazon.com/redshift/
Experimente o Amazon Redshift
Faça uma Prova de Conceito
Leia os blog posts sobre o Amazon Redshift:
https://aws.amazon.com/redshift/blog-posts/
Comece com o Amazon Redshift
Amazon
Redshift

Obrigado!

Por favor preencha a avaliação desta sessão
no aplicativo mobile do summit.

Submeta Feedback para a Sessão
1. Tap the Schedule icon. 2. Select the session
you attended.
3. Tap Session Evaluation
to submit your feedback.

Sessão Avançada: Construindo um Data Warehouse Moderno com Amazon Redshift - BDA302 - Sao Paulo Summit

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Sessão Avançada: Construindo um Data Warehouse Moderno com Amazon Redshift - BDA302 - Sao Paulo Summit

Semelhante a Sessão Avançada: Construindo um Data Warehouse Moderno com Amazon Redshift - BDA302 - Sao Paulo Summit (20)

Mais de Amazon Web Services

Mais de Amazon Web Services (20)

Sessão Avançada: Construindo um Data Warehouse Moderno com Amazon Redshift - BDA302 - Sao Paulo Summit