Your data lake has nearly infinite potential but requires time and work to transform the raw data it contains into the information you need. A clean, well-organized data lake means less wasted time for you. In this session, we discuss several options for performing real-time extract, transform, and load (ETL) processes using Amazon Kinesis, AWS Lambda, AWS Glue, and Amazon S3. We provide an overview of the different options that have distinct advantages in building real-time ETL applications before loading a data lake or warehouse.

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Realizando ETL em tempo-real
para data lakes
A D B 2 0 2
Angelo Carvalho
Specialist Solutions Architect – Analytics – Setor Público
Amazon Web Services
Leandro Pantalena Barbosa
Engenheiro de Suporte ao Cliente
Embraer
Elaine Assis
Arquiteta de Negócios de TI Corporativa
Embraer

2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
,

5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
,

7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
”
”
,

8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Ingestão de stream
Dados de dezenas de milhares de fontes diferentes podem ser escritas em um único stream
AWS IoT
Amazon CloudWatch
Logs
Amazon CloudWatch
Events
AWS SDK LOG4J
Flume
FluentdAWS Mobile
SDK
Kinesis
Producer
Library
Kinesis Agent
*AWS DMS inclui oito bancos de dados on-premises, um banco de dados Azure, cinco tipos de
banco de dados Amazon RDS / Amazon Aurora, e Amazon S3
AWS toolkits & libraries AWS service integrations Third-party offerings
AWS Database Migration
Service (AWS DMS)*

13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Tecnologia de Data-streaming permite aos clientes inserir, processar e analizar um
grande volume de dados de alta velocidade e de diversas fontes

14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Dados são armazenamentos na ordem em que foram recebidos por um tempo determinado.
Eles podem ser reproduzidos infinitamente durante este tempo.

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Kinesis Data Streams
• Fácil de administrar com baixo custo
• Performance elástica em tempo real
• Armazenamento seguro e durável
• Disponível para múltiplas aplicações analíticas em tempo real

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Kinesis Data Firehose
• Zero administração e elasticidade ininterrupta
• Integração de armazenamento Direct-to-data
• Transformações de dados contínuas sem servidor

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Tecnologia de Data-streaming permite aos clientes inserir, processar e analizar um grande volume
de dados de alta velocidade e de diversas fontes

18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Gravações são lidas na ordem em que são produzidas, permitindo análise em tempo real ou o
fluxo de dados ETL
Amazon EMR
AWS Lambda
Kinesis
Kinesis Client Library
AWS services
Apache Spark
Third party
SQL/
Java
Amazon
Kinesis Data
Analytics

19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Kinesis Data Analytics
• Interage com o fluxo de dados em tempo real, utilizando SQL ou aplicações Java integradas
• Constrói aplicações totalmente gerenciáveis e processamento de fluxo de dados elásticos

20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Fluxo de dados em tempo-real na AWS
Análise de streaming em tempo-real
Colete, processe e analise vídeos e fluxos de dados em tempo real de forma fácil
Amazon Kinesis
Video Streams
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Firehose
Amazon Kinesis
Data Analytics
Capture e armazene
streams de vídeos
para análises
Carregue os fluxos de
dados em um data store
AWS
Analise fluxos de
dados com SQL
ou Java
Colete e armazene
fluxos de dados para
análises
Amazon Managed
Streaming for
Apache Kafka
Colete e armazene
data streams para
análises

21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Fonte
.
Destino
Amazon S3Dispositivos IoT

23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Processamento de stream Análise

24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Núcleo AWS IoTDispositivo IoT IoT
rule
Amazon Kinesis Data
Firehose
Lambda function
Amazon S3
AWS Glue
AWS Glue
Data Catalog
Conversão opcional para
Parquet ou ORC

25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Processamento de stream Análise

26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon S3Kinesis Data
Analytics
Kinesis Data StreamsElastic Load
Balancing
Dispositivo IoT Instâncias
Amazon EC2

27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Processamento de stream Análise

28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Exemplo de arquitetura
Amazon S3
Amazon Redshift
Amazon Elasticsearch Service
Splunk
Aplicações em tempo-real (segundos)
Streaming ETL (minutos)
Ingestão de Stream
[Wed Oct 11 14:32:52 2018]
[error] [client 127.0.0.1]
client denied by server
configuration:
/export/home/live/ap/htdocs
/test
Mobile device
Metering
Click streams
IoT sensors
Logs
AWS SDKsAmazon
KinesisAgent
AmazonKinesis
ProducerLibrary
AmazonKinesis
ConsumerLibraryKinesis Data
Analytics
Kinesis Data
Streams
Kinesis Data
Firehose

30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Thomson Reuters fornece profissionais com a
inteligência, tecnologia e expertise humana que eles
precisam para encontrar soluções confiáveis.
”
“

31. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

32. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Clientes utilizando soluções de Streaming da AWS
1 bilhão de eventos
por semana de
dispositivos
conectados
Valorização de
imóveis quase que
em tempo-real
Dashboards de
clickstream
atualizados em
menos de 10s
100 GB/dia
clickstreams de 250+
sites
50 bilhões de
impressões de
propagandas, com
resposta abaixo de
50 ms
Estilista on-line
processandog 10
milhões de
eventos/dia
Migrou data bus de
uma Kafka auto-
gerenciável para
Kinesis
Facilidade de
comunicações entre
100+ microserviços
Análises preditivas
de IoT
Análises de eventos
de jogos em tempo-
real

33. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Go
video analytics

34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

35. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Kinesis
Data Streams
Kinesis
Data Firehose
Amazon EC2*
Amazon Simple Storage
Service (Amazon S3)
AWS Glue
Amazon Athena
AWS Lambda
Amazon DynamoDB
Amazon Machine Learning
IoT
sensor
Parquet
JSON
Users
Web App
Users
AWS Cloud

36. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Caso de Cliente:
Ikon – Embraer Big Data & Advanced Analytics
Leandro Pantalena Barbosa
Engenheiro de Suporte ao Cliente
Embraer
Elaine Assis
Arquiteta de Negócios de TI Corporativa
Embraer

37. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Agenda
Cenário da aviação comercial
Desafio
Solução
Resultado – Caso de Uso
Plataforma Corporativa

38. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Performing real-time ETL into data lakes
Ikon – Embraer Big Data & Advanced Analytics

39. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Aviação Comercial
• 86 Airlines
• 55 Países
• 1300 + em serviço

40. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Desafio
• Gestão de problemas
técnicos de campo
• Identificação
• Priorização
• Análise e definição da solução
• Desenvolvimento
• Controle de implementação
• Medida de eficácia
• Análise e Definição da Solução
• Download Manual da informação
• 30% dos dados totais da frota
• Armazenamento em dado bruto
• 4 Terabytes
• Limitação na decodificação & fraca governança
• 28 Terabytes
• Limitação na análise das informações com excel
• 1 bilhão de linhas (time series)

41. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Desafio
• Aeronave conectada em solo
• 100% dos dados via 3g/4g/wifi
• Capacidade de gravação (6x)
• 6000 parâmetros – Voo completo
• Analogia à frota atual
• 75 Terabytes - dados brutos
• 500Terabytes - dados decodificados
• Ágil acesso aos dados
• Escalar a melhoria do produto
• Alta acurácia nas análises
• Solução eficaz

42. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Solução
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3
output bucket
Frota
Internet
gateway
Amazon
CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3
output bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB
Streams
AWS Lambda
Amazon EMR
Sandbox
Amazon S3
output bucket
Amazon S3
output bucket Amazon EMR
Amazon S3
output bucket

43. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3
output bucket
Frota
Internet
gateway
Amazon
CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3
output bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB
Streams
AWS Lambda
Amazon EMR
Sandbox
Amazon S3
output bucket
Amazon S3
output bucket Amazon EMR
Amazon S3
output bucket
Solução
Minutos

44. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3
output bucket
Frota
Internet
gateway
Amazon
CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3
output bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB
Streams
AWS Lambda
Amazon EMR
Sandbox
Amazon S3
output bucket
Amazon S3
output bucket Amazon EMR
Amazon S3
output bucket
Solução
Minutos
Minutos

45. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3
output bucket
Frota
Internet
gateway
Amazon
CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3
output bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB
Streams
AWS Lambda
Amazon EMR
Sandbox
Amazon S3
output bucket
Amazon S3
output bucket Amazon EMR
Amazon S3
output bucket
Solução
Minutos
Minutos

46. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3
output bucket
Frota
Internet
gateway
Amazon
CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3
output bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB
Streams
AWS Lambda
Amazon EMR
Sandbox
Amazon S3
output bucket
Amazon S3
output bucket Amazon EMR
Amazon S3
output bucket
Solução
Minutos
Minutos

47. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Resultado – Caso de Uso
Fuel Imbalance message
• Derramamento de
combustível
• Apenas um evento?
• Frota está voando em situação
marginal?
• Cenário
• 4 Terabytes de dados
• 99% de acurácia nos dados
• 3000 voos

48. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Resultado – Caso de Uso
• Não requer
preparação do dado
bruto
• Ágil acesso ao dado
• Autonomia na criação
e ajustes das regras
• Processamento com
escalabilidade e
elasticidade a custos
adequados

49. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Plataforma
VPC
AWS Cloud
Embraer Ground Server
Amazon ECS
Amazon S3 output
bucket
Frota
Internet gatewayAmazon CloudFront
Amazon RDS
Ikon
Amazon EC2
Amazon S3 output
bucket Amazon SNS AWS Lambda Amazon DynamoDB
Amazon DynamoDB Streams AWS Lambda
Amazon EMR
Sandbox
Amazon S3 output
bucket
Amazon S3 output
bucket Amazon EMR
Amazon S3 output
bucket
Minutos
Minutos
Flexível Escalável Serverless
Batch ->
Streaming
Pipeline
Agnóstico
Data Lake
Corporativo

50. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Desafios
Quebra de
paradigmas
Custos Segurança
em nuvem
Contrato
power by the
hour
Provisionamento
rápido de poder
computacional
Requer alto nível
de Segurança da
Informação
Governança
Criação e Execução
de ALM
Corporativo

51. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Adoção de Cloud Computing AWS
Cloud Computing está
alavancando a TI Corporativa
para fomentar a utilização de
Analytics na Embraer

52. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I TS U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
“Por favor, responda a pesquisa ao final
da sessão no app. Ao finalizar a
pesquisa, passe no Help Desk e retire
seu brinde!”

53. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Thank you!
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

54. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.