Nesta sessão, nos concentraremos na arquitetura de dados de uma aplicação, o que permite que diferentes pessoas com distintas funções em uma organização acesses pontos de dados relevantes e produzam insights valiosos. Explicaremos os conceitos chave e os componentes de uma arquitetura de data lake, assim como de que forma devemos construir fluxos de processamento de dados de camadas de velocidade e de lote.

1. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
São Paulo
Hugo Rozestraten
Solutions Architect, Amazon Web Services
Nikolas Mesquita
Coordenador de BI/Analytics do CIA
ARC202
É tudo sobre dados
São Paulo

2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
O que esperar desta sessão?
• Desafios de arquitetura de dados
• Construir um fluxo de dados rapidamente
• Padrões de arquitetura para Data Lake

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Desafios da arquitetura de dados
• Descobrindo os dados
• Rápido ”time-to-insight”
• Analisandos os dados por diferentes pessoas
• Sendo eficiente em custos

4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Coleta Armazenamento
Processamento
/ Transformação
Armazenamento Análises
Construindo um fluxo de dados rapidamente

5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Padrões de arquietura para Data Lake
Data Lake é uma arquitetura conhecida
para armazenar e analisar dados com
volumes massivos e formatos
heterogêneos

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Características de um Data Lake
Rapida ingestão e armazenamento
de qualquer formato de dados
Única fonte da verdade
Busque dados facilmente Separe armazenamento da
computação

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Construindo um Data Lake na AWS

8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Coleta Armazenamento
Processamento
/ Transformação
Armazenamento Análises
Construindo um fluxo de dados rapidamente

9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Kinesis Data Firehose
• Carregue dados de streaming facilmente na AWS
• Elasticidade sem igual
• Integração direta com o armazenamento
AMAZON S3
AMAZON REDSHIFT

10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Coleta Armazenamento
Processamento
/ Transformação
Armazenamento Análises
Construindo um fluxo de dados rapidamente

11. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
AWS Glue – Serviço de ETL
Data Catalog
ETL Job
authoring
Discover data and
extract schema
Auto-generates
customizable ETL code
in Python and Spark

12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Catálogo de Dados do AWS Glue
Catálogo Centralizado de Metadados para o Data Lake
Repositório unificado de
metadados de banco de
dados relacionais, Amazon
RDS, Amazon Redshift, e
Amazon S3.
AWS Glue Data Catalog
Central Metadata Catalog for the data lake

13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Coleta Armazenamento
Processamento
/ Transformação
Armazenamento Análises
Construindo um fluxo de dados rapidamente

14. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
“Query” no Amazon Athena
Vamos analisar dados

15. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Athena – Análise Interativa
Serviço de busca interativa “QUERY” para análise de dados do Amazon S3 usando SQL
Standard
SQL
Instantâneo Pague por Query Padrão Aberto Fácil
$

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Visualise com
Amazon QuickSight

17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon QuickSight
Análise rápida, fácil de usar, “serverless” por 1 décimo do custo do BI tradicional
Empodere
usuários
Conectividade
Análises rápidas “Serverless”

18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
“Automatizamos processos e geramos
novos insights de negócio por meio dos
serviços da AWS”
“Com o Data Lake
na AWS estamos sem
limites para Data
Science
- Luis Lima, CTO
Somos a empresa do Grupo Algar que
atua no setor de TIC (Tecnologia da
Informação e Comunicação) há mais
de 60 anos com dois objetivos
principais: manter um relacionamento
próximo com os nossos clientes e
oferecer a melhor experiência com
serviços de alta qualidade.

19. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
O Desafio
1. Automação
2. Disponibilização de dados
3. Visualização da informação
4. Predição

20. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Solução

21. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Solução

22. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Solução

23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
São Paulo
Demo

24. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Resumo
• Descobrimos os dados com AWS Glue
• Nós entregamos um rápido time-to-insight, usando
serviços gerenciados
• Diferente pessoas podem analisar dados com Amazon
Athena e Amazon QuickSight
• Mantemos custo eficiente, uma vez que você paga somente
pelo que usa

25. São Paulo
Obrigado!