Na sessão sobre Big Data, apresentamos as soluções baseadas na nuvem e o portfólio dos produtos/serviços da AWS.

1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

2. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Os dados são um ativo estratégico das
organizações
O recurso mais valioso
do mundo é
não mais petróleo, são os
dados.*
* Copyright: The Economist, 2017, DavidParkins
“
”

3. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Por que data lakes?
Os Data Lakes contém:
Dados relacionais e não relacionais
Scale-out para Exabytes
Conjunto diversificado de ferramentas de analytics e
machine learning
Trabalhar em dados sem necssitar movimentação de
dados
Projetado para armazenamento e análise de baixo
custo
OLTP ERP - SIM LOB
Data Warehouse
Business
Intelligence
Data Lake
100110000100101011100
101010111001010100001
011111011010
0011110010110010110
0100011000010
Disposi
tivos
Teia Sensor
es
-
Social
Catálogo
Aprendizage
m de
máquina
Consultas
DW
Processament
o de big data
Interativo Tempo real

4. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Data Movement
Analytics
+ 11 more
Redshift
EMR (Spark
& Hadoop)
Athena
Elasticsearch
Service
Kinesis Data
Analytics
Glue (Spark
& Python)
S3/Glacier GlueLake
Formation
Visualization, Engagement, & Machine Learning
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate Transcribe
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Managed Streaming for Kafka
Data Lake Infrastructure & Management
Pinpoint
AWS. Mais abrangente

5. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Mais econômico
Desacoplar computação e armazenamento, escolha de serviços de analytics
pay-as-you-go
Storage
Níveis do S3 e
tiering inteligente
A partir de 0,023
USD por GB /Mês
até 0,004 USD por
GB /Mês
Computação
Instâncias spot e
reservadas
Economize até 90%
em relação aos
preços sob demanda
EMR
Auto
dimensionamento
57% mais barato
que on premises
segundo relatório
do IDC
Redshift
Menos de 1/10º do
custo das soluções
tradicionais on
premises
Athena &
QuickSight
Serverless - Pague
apenas o que for usado
Definição de preço por
sessão para visualização

6. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
S3
Formação e Cola do Lago
Bola de
neve
Cinese
Fluxos de dados
Móvel de
neve
Cinese
Firehose de
dados
Redshift
EMR
Atena
Cinese
Pesquisa Elástica
Serviço
Infraestrutura robusta de data lake
Sagemaker
Compreender
Rekognition
Durável e disponível; Escala para Exabytes
Seguro, compatível, auditável
Controles de nível de objeto para acesso granular
Alta performance na leitura de subconjuntos de
dados
Desacoplamento de computação e armazenamento
Recursos sob demanda, hierarquização, opções de
custo
Infraestrutura do data
lake & serviços de gestão

7. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Lake Formation Infraestrutura do data
lake & serviços de gestão

8. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Configurar um catálogo, ETL e
preparação de dados
Um serviço serverless, configuravél e
dimensionável para executar seus jobs
de ETL no Apache Spark
Pague somente pelos recursos usados
pelos jobs
Rastreie suas fontes de dados,
identifique formatos de dados e sugira
esquemas e transformações
Automatize o esforço na construção,
manutenção e execução de trabalhos
de ETL
Infraestrutura do data
lake & serviços de gestão

9. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Processamento de big
data com Apache Spark &
Hadoop
Análise
Nível empresarial Fácil Custo mais baixo

10. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Análise sem servidor
S3
Data lake
Glue
(ETL &
Catálogo de Dados)
Athena
Quicksight
Sem servidor. Infra-
estrutura zero.
Administração zero
Nunca pague
por recursos
ociosos
$
Disponibilidade e
tolerância a
falhas
incorporadas
Dimensiona
automaticamente
os recursos com o
uso
iOT
AI/ML
Dispositi
vos
Teia Sensores - Social
Análise

11. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Insights visuais para todos
Visualização,
engajamento e ML

12. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Gerenciament
o de usuários
Gerenciamento de
público-alvo
Alvo Canais Insights da
campanha
Envolva seus clientes com sucesso
usando o Amazon Pinpoint
Visualização,
engajamento e ML

13. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Insights preditivos
Amazon S3
Dados brutos Dados de
formação inicial
é anotado por
rotuladores
humanos
Modelo de aprendizagem ativo
é treinado a partir de humanos
dados rotulados
Dados ambíguos são enviados para humanos
etiquetadores para anotações
Os dados rotulados por humanos são então enviados
de volta para retreinar e melhorar o
modelo de aprendizagem de máquina
Dados de treinamento do
modelo entende é
rotulado automaticamente
Dados de treinamento precisos
está pronto para uso em
AmazonSagemaker
Visualização,
engajamento e ML

14. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Mais data lakes e análises do que em
qualquer outro lugar

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Infraestrutura de data
lake
& gestão
“Com uma opção pronta para
empresas como Lake
Formation, seremos capazes
de gastar mais tempo tirando
valor de nossos dados em vez
de fazer o trabalho pesado
envolvido
na configuração e
gerenciamento manualmente
de nosso data lake.”
— Joshua Couch, vice-presidente de
engenharia
na Fender Digital

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Análise
O sistema legado da FINRA não
foi dimensionado para lidar com
75 bilhões de eventos por dia.
Eles precisavam executar
consultas de vigilância
complexas com mais de 20 PB
de dados
A FINRA migrou seu
equipamento de big data para
um data lake do S3
e usa EMR para ingestão
e processamento

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
“Começamos a usar o SageMaker há
pouco menos de um ano.
Desenvolvemos nossa própria equipe
de IA várias vezes nos últimos seis
meses para explorar completamente a
nova vantagem que as tecnologias da
AWS oferecem.
Estamos lucrando de novas maneiras
ao definir preços com base em clima
que ainda não aconteceu. Nós “tudo”
com a AWS, inclusive o
armazenamento de nossos dados no
S3.”
- André.Estípa, Analista de Negócios Líder
Visualização,
engajamento e ML

18. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
aws.amazon.com/blogs/big -data/category/analytics/
aws.amazon.com/big -data/datalakes -and-analytics/what -
is-a-data-lake/
aws.amazon.com/blogs/big -data/tag/data -lake
aws.amazon.com/solutionspace/data -lake-foundation-
with-aws-services /

19. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Thiago Paulino
thiagop@amazona.com