Este documento apresenta uma solução de big data utilizando vários serviços da AWS, como Kinesis, EMR, Redshift e Quicksight. A solução coleta dados de várias fontes, os processa utilizando Spark no EMR, armazena os resultados no S3 e carrega no data warehouse Redshift para análises. O caso de uso apresentado é a análise de malha aérea para uma empresa de transporte aéreo.

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Alex Coqueiro
Gerente de Arquitetura para o Setor Público
Amazon Web Services
Junho, 2016
Seu Primeiro Aplicativo
de Big Data
@alexbcbr
Luis Guerrero
Gerente de Engenharia
Viva Real
#AWSSummit
#bigdata

3. grande complexidade

4. Complexidade em função de uma grande variedade
Glacier
S3 DynamoDB
RDS
EMR
Redshift
Data Pipeline
Kinesis
Cassandra Amazon
CloudSearch
Amazon
Machine
Learning
Amazon
QuickSightAmazon
ElasticSearch

6. Ingestão Processamento Análise
Armazenamento
Dados
Respostas

7. Ingestão
InformaçõesTransacionais
Processamento
Armazenamento Análise Visualização
Caso de Uso – Análise de Malha Aérea

8. Ingestão Processamento Análise
Armazenamento
Dados
Respostas

9. AMAZON S3
SIMPLE STORAGE SERVICE

10. Amazon S3
YOUR-BUCKET-NAME

11. Ingestão Processamento Análise
Armazenamento
Dados
Respostas

12. AMAZON KINESIS
REAL TIME DATA STREAMING

13. Tipos de dados para a ingestão
Transacionais
• RDBMS
Arquivos
• Click-stream logs
• Texto livre
Stream
• IoT devices
• Tweets
Database
Cloud
Storage
Stream
Storage

14. Amazon Kinesis Firehose
Criaremos um stream com o Amazon Kinesis Firehose, para
os dados que serão coletados dos sistemas de origem
aws firehose create-delivery-stream
--delivery-stream-name STREAM-NAME
--s3-destination-configuration config.json
--region us-east-1

15. Exemplo do arquivo de log

16. Ingestão de dados no Kinesis Firehose
Faremos uma ingestão baseado em dados que estão sendo
coletados de um sistema transacional
aws firehose put-record
--delivery-stream-name STREAM-NAME
--record Data=”JOAO DA SILVA,CLE,MCO,14”

17. Ingestão Processamento Análise
Armazenamento
Dados
Respostas

18. AMAZON ELASTIC MAP
REDUCE
HADOOP AS A SERVICE

19. Amazon EMR
Lançaremos um cluster de 3 nós em Amazon EMR com
Spark:
m3.xlarge
YOUR-AWS-SSH-KEY

20. Spark
• Motor para processamento de
dados em larga escala
• Suporte a aplicações escritas
em Java, Scala, Python ou R
• Combina SQL, streaming e
análises complexas

21. Desenvolvendo Spark/Python no Amazon EMR
## Interagindo com serviços como Amazon S3 via API (boto) ##
BUCKET-NAME
## Criando contexto no SPARK ##
PYTHON-APP

22. Desenvolvendo Spark/Python no Amazon EMR
## Processamento da Lógica de Negócio ##
BUCKET_NAME
## Gravando resultados processados no S3 em formato compactado ##
BUCKET_NAME

23. Lançar Apps no Cluster Spark do Amazon EMR
Usamos SSH para conectar no cluster:
ssh -o TCPKeepAlive=yes -o ServerAliveInterval=30
-L 8001:localhost:18080
YOUR-AWS-SSH-KEY hadoop@YOUR-EMR-HOSTNAME
Iniciando o Spark shell:
spark-submit --master yarn-client PYTHON-APP.py

24. Ingestão Processamento Análise
Armazenamento
Dados
Respostas
SQL

25. AMAZON
REDSHIFT
PETA-BYTE SCALE DATAWAREHOUSE

26. Amazon Redshift
CHOOSE-A-REDSHIFT-PASSWORD

27. Criar uma tabela no Amazon Redshift

28. Mas eu quero visualizar os
dados ?

29. Exemplo do arquivo de saída

30. Carregar os dados no Amazon Redshift
Comando “COPY” carrega dados em paralelo
COPY voos
FROM 's3://YOUR-S3-BUCKET/voos-log-processado'
CREDENTIALS
'aws_access_key_id=YOUR-IAM-ACCESS_KEY;
aws_secret_access_key=YOUR-IAM-SECRET-KEY'
DELIMITER ’,' IGNOREHEADER 0, REMOVEQUOTES,
MAXERROR 0
GZIP;

31. Conectando no Amazon Redshift
# usando o PostgreSQL CLI
YOUR-REDSHIFT-ENDPOINT
Ou usando uma ferramenta JDBC ou ODBC SQL client com
suporte a drivers em PostgreSQL 8.x ou nativamente com
suporte ao Amazon Redshift
• Aginity Workbench for Amazon Redshift
• SQL Workbench/J
• DBVisualizer

32. Queries no Amazon Redshift
-- Número de registros
-- Quem transporta mais passageiros ?
-- Quem transporta mais passageiros com milhas ?

33. AMAZON
QUICKSIGHT
CLOUD-POWERED BUSINESS INTELLIGENCE

35. Amazon
Kinesis
InformaçõesTransacionais
Amazon
EMR
Amazon S3
Amazon
Redshift
Amazon
Quicksight
O que vimos …
Map Reduce
Parallel
Copy
SQL Query

36. Experiência da Viva Real
Luis Guerrero
Gerente de Engenharia
©2016, Amazon Web Services, Inc. or its affiliates. All rights reserved

37. Serviços da AWS

38. Nosso Problema

39. A Solução

40. Aprenda mais AWS big data com
nossos especialistas
blogs.aws.amazon.com/bigdata

41. Muito Obrigado
Alex Coqueiro
Gerente de Arquitetura para o Setor Público
@alexbcbr#bigdata #AWSSummit