O Amazon Kinesis facilita a coleta, o processamento e a análise em tempo real de dados de streaming para que você tenha insights oportunos e reaja rapidamente a novas informações. Nesta sessão, primeiramente apresentamos uma solução de streaming de dados end-to-end usando o Amazon Kinesis Data Streams para ingestão de dados, o Amazon Kinesis Data Analytics para processamento em tempo real e o Amazon Kinesis Data Firehose para persistência. Analisamos em detalhes como criar queries SQL para monitoramento operacional usando o Kinesis Data Analytics.

1. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Daniel Bento
Solutions Architect, Amazon Web Services
Petrônio Braga
Neurotech
BDA303
Analisando Streams de Dados em
Tempo Real com o Amazon Kinesis

2. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Decisões oportunas necessitam que dados estejam disponíveis
em minutos
Fonte: Perishable Insights, Mike Gualtieri, Forrester
Dados perdem valor
de rapidamente ao
longo do tempo

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Faça o Streaming de Dados recém criados em Segundos
Consiga insights úteis de maneira rápida
Streaming
Ingestão de
vídeo e dados
a medida que
são produzidos
Dados são processados
on the fly
Analytics/ML,
alertas, ações
em tempo real

4. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Uso Comuns de Streaming
Monitoramento
de segurança
Automação
industrial
Data
Lakes
Monitoramento
de dispositivos
IoT
Log
analytics

5. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Streaming com Amazon Kinesis
Colete, processe e analise de maneira fácil streaming de dados e vídeo em tempo
real
Capture, processe e
armazene streams de
videos
Kinesis Video Streams
Carregue streams de
dados em storages na
AWS
Analise streams de dados
com SQL
Capture, processe e
armazene streams de
dados
Kinesis Data Streams Kinesis Data Firehose Kinesis Data Analytics

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Kinesis Data Streaming
Colete, processe e analise streams de dados em tempo real
EMR/Spark
Código customizado
em EC2
Amazon S3
Amazon
Redshift
Splunk
Ingestão e
armazenamento
de streams de
dados
Kinesis Data
Streams
Kinesis Data
Analytics
Agregação,
filtragem e
enriquecimento
de dados
Kinesis Data
Firehose
Streams de
dados de
saída
AWS Lambda
Tempo real
Totalmente gerenciado
Escalável
Seguro
Efetivo em custo
Amazon
Elasticsearch
Service

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Caso de Uso 1: Clickstream Analytics
Exemplo: Recomendação de conteúdo para Websites
Streams website
clickstreams for
analytics
Aggregates clickstreams
based on user sessions
and calculates site
metrics
Loads aggregated
metrics to Amazon
Redshift

8. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Caso de Uso 2: Real-Time Analytics
Exemplo: Análise de streaming de dados de mídias sociais

9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Caso de Uso 3: Processamento de Stream de IoT
Exemplo: Sensores no trator detectam necessidade da reposição de uma
peça e automaticamente fazem o pedido
Finds tractors that need
maintenance and orders
replacement parts

10. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Kinesis Data Analytics
Visão Geral

11. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
É uma questão do Ritmo
Logs de servidor a cada hora
Faturas semanais ou mensais
Clickstream diário de websites
Relatório diário de fraudes
Métricas em tempo real
Alertas e limites de gastos em tempo real
Análise de clickstream em tempo real
Detecção em tempo real
Processamento Batch Processamento por Streams

12. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Amazon Kinesis Data Analytics

13. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Padrão Simples para Streaming de Dados
Criação contínua de
dados
Escreve continuamente
os dados no stream
Pode ser praticamente
qualquer coisa
Produtor de dados
Armazenamento durável
de dados
Buffer temporário que
prepara os dados
Suporte a throughput
muito alto
Serviço de streaming
Processamento contínuo
de dados
Tratamento, preparação e
agregação
Transforma dado em
informação
Consumidor de dado
Mobile client Kinesis Amazon Kinesis app

14. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Aplicações com Kinesis Data Analytics
Escreva fácil código SQL para processar os
dados do streaming
Conecte-se à fonte de streaming
Entregue continuamente os resultados do SQL

15. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Como escrevo streaming SQL? Fácil!
Streams (tabelas em memória)
CREATE STREAM calls_per_ip_stream(
eventTimeStamp TIMESTAMP,
computationType VARCHAR(256),
category VARCHAR(1024),
subCategory VARCHAR(1024),
unit VARCHAR(256),
unitValue BIGINT
);

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Como escrevo streaming SQL? Fácil!
Pumps (consultas contínuas)
CREATE OR REPLACE PUMP calls_per_ip_pump AS
INSERT INTO calls_per_ip_stream
SELECT STREAM "eventTimestamp",
COUNT(*),
"sourceIPAddress"
FROM source_sql_stream_001 ctrail
GROUP BY "sourceIPAddress",
STEP(ctrail.ROWTIME BY INTERVAL '1' MINUTE),
STEP(ctrail."eventTimestamp" BY INTERVAL '1' MINUTE);

17. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Como agregamos dados de streaming?
• As agregações (count, sum, min, etc.) usam dados
granulares em tempo real e as transformam em insights
• Os dados são processados continuamente. Portanto, é
necessário informar ao aplicativo quando você deseja os
resultados
Janelas! (Windows)

18. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Tipos de Janelas (Windows)
• Sliding, tumbling, e custom windows
• Tumbling windows são de tamanho fixo e as chaves
agrupadas não se sobrepõem

19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Event, Ingest, e Processing Time
• Event time é o time stamp atribuído quando o evento
ocorreu, também chamado de client-side time.
• Processing time é quando o aplicativo lê e analisa os
dados (ROWTIME).
…
GROUP BY "sourceIPAddress",
/* Trigger for results */
STEP(ctrail.ROWTIME BY INTERVAL '1' MINUTE),
/* A time stamp grouping key */
STEP(ctrail."eventTimestamp" BY INTERVAL '1' MINUTE);

20. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Late Results
• Um evento está atrasado se chegar depois que o cálculo,
ao qual ele logicamente pertence, já tiver sido concluído
• Seu aplicativo Kinesis Analytics produzirá um ajuste
…
GROUP BY "sourceIPAddress",
/* Trigger for results */
STEP(ctrail.ROWTIME BY INTERVAL '1' MINUTE),
/* A time stamp grouping key */
STEP(ctrail."eventTimestamp" BY INTERVAL '1' MINUTE);

21. Amazon Kinesis Data Analytics – Precificação
• Pague somente pelo que utilizar
• Cobrado por hora, com base no número
médio de Kinesis Processing Units (KPU)
utilizados para executar seu aplicativo
• Um único KPU fornece 1 vCPU e 4 GB de
memória
• $0.11 por KPU-hora (US East).

22. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Exemplos de Clientes
1 bilhão de eventos
por semana a partir
de dispositivos
conectados
Avaliação de casas
em quase tempo
real
Dashboards de
clickstream ao vivo
atualizados a cada 10
segundos
100 GB/day de
clickstreams de
250+ sites
50 bilhões de
impressões diárias
de anúncios com
respostas de
menos de 50 ms
Estilista online
processando 10
milhões de eventos /
dia
Facilita a
comunicação entre
mais de 100
microsserviços
Análise de bilhões
de fluxos de rede
em tempo real
Análise preditiva
de IoT
Analise de
eventos de jogos
em quase tempo
real

23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Demo
Amazon Kinesis Data Analytics

24. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Arquitetura da Solução da Demo
Amazon
Kinesis
Firehose
Amazon
Kinesis
Analytics
Amazon
Kinesis
Streams
Data Lake
S3 bucket
Função
Lambda
SMS
Toll Data
Kinesis Data
Generator
E-mail
http://bit.ly/kinesis2018sp
Detecção de
anomalias

25. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Neurotech
Petrônio Braga, Gerente de Inovação

26. CONECTAR DADOS COM
INTELIGÊNCIA POR UM
FUTURO MAIS PREVISÍVEL.
ESSE É NOSSO PROPÓSITO.

27. NEUROLAKE
“Plataforma aberta à comunidade para criação
de soluções de Machine Learning as a
Service (MLaaS) tendo os dados do
NeuroLake como diferencial competitivo.”

28. Usamos o conceito de Data Lake para coletar em diferentes fontes de informação (pública e
privada) para ajudar os nossos clientes a tomarem as melhores decisões
MACHINE
LEARNING
+ 15 MIL
VARIÁVEIS

29. Segurança, identidade e
conformidade
Alta disponibilidade e
confiabilidade
Rapidez no desenvolvimento e
implantação
Escalável de acordo com a
demanda
DESAFIOS
Disponibilizar diversos tipos de
bancos de dados
Ter visibilidade dos custos e
ROI de infraestrutura

30. COLETA
ANÁLISE / MACHINE LEARNING
Dados
(estruturados)
SOLUÇÃO (Coleta e Análise)
Dados e Logs
Logs
Dados Brutos
Monitoramento
● Média de 20 milhões de requisições por dia
● 3TB de dados capturados em média por dia

31. API
Logs e Bilhetagem
SOLUÇÃO (Disponibilização)
Logs
BILHETAGEM

32. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Muito Obrigado!

33. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Por favor, preencha a pesquisa da
sessão no aplicativo mobile do
Summit.