O documento descreve uma arquitetura serverless de processamento de eventos e ETL na AWS, incluindo o uso do Kinesis para transporte de dados, Lambda para processamento, e S3 e Presto para armazenamento e análise de dados. Ele também discute os pontos fortes e fracos da arquitetura, como facilidade de escalonamento versus custos potencialmente altos, e próximos passos como autoatendimento de dados.

1. Uma Arquitetura de
Stream Processing e ETL
Serverless na AWS

2. Uma instituição
financeira diferente.
Uma instituição
financeira cooperativa.

3. Experiência digital
Plataforma para
inovação
Novo Core Bancário
TRANSFORMAÇÃO DIGITAL

4. DATA LAKE do WOOP

6. Server

7. Serverless na

8. Por que escolhemos Serverless?

9. A Arquitetura

12. O Framework
dentro do Framework

13. Processamento
de Eventos
Reprocessamento
Controle de Fluxo
(Backpressure)
Broker de Eventos
Controle de Erros
Garantia de
Processamento
Controle de Estado
Dados
Formato
Padronizado
Tipos de Dados
Schema
Transporte
Kinesis + KPL
Codec ORC
Cópia de Eventos
no S3
Metadados
100%
Automatizado
Dashboard
Métricas
Troubleshooting
Aplicações
SQS
SNS
JSON
CSV
XML
XLS
Oracle
MongoDB
Teradata
S3

15. Metadados

17. Utilizado
para
reprocessar
job

18. Utilizado
para buscas
e controle de
paralelismo e
de falhas

20. Lidando com Erros

22. Do Oracle ao (S3 + Presto)
em
Near Real Time

24. Amazon Kinesis

25. Faça Cópia das suas Streams!

26. Quanto custa uma
stream?

27. 1 shard = 1 MB/s ou 1000
registros/s

28. Você paga pela hora/shard

29. E por cada carga de PUT de
25KB

30. Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)

31. Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)
• Dimensione corretamente suas
streams

32. Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)
• Dimensione corretamente suas
streams
• Uma stream X N Streams

33. Como Utilizamos o Kinesis

34. Como Utilizamos o Kinesis

35. Como Utilizamos o Kinesis

36. Como Utilizamos o Kinesis

37. Alguns números…

38. 12
Milhõesjobs executados 192
Milhõesregistros processados
+120 GBdados processados

40. PONTOS FORTES
• Pouco gerenciamento
• Integração simples entre serviços da
AWS
• Estabilidade dos serviços
• Facilidade em escalar serviços

41. PONTOS FRACOS
• Custos podem crescer rapidamente
• Subutilização de recursos (ex. Kinesis)
• Explosão de chamadas Lambda
• Saiba quando sua Lambda deve virar
um microserviço ou EC2

42. PRÓXIMOS PASSOS
• Escalonador de jobs na EMR (criar e destruir
EMRs)
• Self-service de Dados
• Catálogo de Dados

43. Nossa arquitetura está em constante
evolução. Começamos pequeno e
crescemos de forma orgânica, na medida
em que os cenários mudam.

44. Obrigado!
mayconbordin
mayconbordin@gmail.com