O documento apresenta uma trilha sobre Big Data e NoSQL, abordando tópicos como streaming de dados em data lake com Debezium, Delta Lake e EMR, incluindo arquiteturas, ferramentas e casos reais.

1. TRILHA BIG DATA E NOSQL
Stream de Dados em
Data Lake com
Debezium, Delta Lake e EMR

2. QUEM SOMOS
Cícero Moura Marco Nogueira
Engenheiro de Dados
Engenheiro de Dados
Tech Lead
Especialista em Big Data
e Machine Learning
Sprinter (DataSprints) Sprinter (DataSprints)
Graduado em Ciência
da Computação

3. 3

4. Sobre o que vamos conversar?
○ Big Data e Data Lake
○ Streaming de Dados
○ Debezium
○ Spark e EMR
○ Delta Lake
○ Hands-On
4
Código fonte
do hands-on

5. Objetivo
5
“Integrar dados de diversas fontes relacionais em tempo real para
Big Data e possibilitar a análise dos mesmos pelo negócio”.

6. Big Data?
6

7. Data Lake
7
https://aws.amazon.com/pt/big-data/datalakes-and-analytics/what-is-a-data-lake/
“Data Lake é um repositório centralizado para dados estruturados e não
estruturados com alta escalabilidade, permitindo assim análise e
processamento dos dados”.

8. 8
https://www.oreilly.com/library/view/data-lake-for/9781787281349/063e9f2b-c0c7-481c-b516-cf76cb9be685.xhtml
Data Lake
Arquitetura

9. 9
Data Lake
Estrutura do Armazenamento

10. Streaming de Dados
10

11. Ferramentas
11

12. 12
Debezium
● Ferramenta Open Source;
● Mantida pela RedHat;
● Captura eventos de logs de bancos de dados (SQL e NoSQL);
● Possui alguns plugins pagos;
● Permite integrar dados com outras fontes;

13. 13
Debezium
“Nada mais nada menos do que o Kafka e Kafka Connect juntos”.

14. 14
Debezium
Kafka
https://www.slideshare.net/ConfluentInc/apache-kafka-meetupzurichatswissrefromzerotoherowithkafkaconnect20190826v01

15. 15
Debezium
Kafka Connect
https://www.slideshare.net/ConfluentInc/apache-kafka-meetupzurichatswissrefromzerotoherowithkafkaconnect20190826v01

16. 16
Debezium
Arquitetura
https://debezium.io/documentation/reference/1.5/architecture.html

17. 17
Debezium
E qual a vantagem?
● Unificação entre Kafka + Kafka Connect;
● Conectores personalizados e prontos;
● Debezium vs AWS DMS?

18. 18
Apache Spark
● Ferramenta Open-Source;
● Processamento distribuído e escalável;
● Pode ser utilizado SQL, Python, Scala, R e Java.
https://spark.apache.org/docs/latest/cluster-overview.html

19. 19
Amazon EMR
https://aws.amazon.com/pt/emr/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc
● “Execute e escale facilmente o Apache Spark, o Hive, o Presto e outras
ferramentas de big data”.
● Ferramenta gerenciada da AWS;

20. 20
Delta Lake
● Framework para Spark;
● Proprietário da Data Bricks e versão Community;
● Formato de armazenamento aberto para dados;
● Trabalha com Batch e Streaming de Dados;
● Trabalha em todas as camadas de uma Data Lake.
https://databricks.com/product/delta-lake-on-databricks

21. 21
● Transações ACID;
● Unificação de dados de Streaming e Batch;
● Evolução e adaptação de schemas de dados;
● Operações de UPSERT;
● Segurança, confiabilidade e escalabilidade.
https://docs.delta.io/latest/quick-start.html
Delta Lake
Caracteristicas

22. 22
https://docs.delta.io
Apache Spark
Arquitetura

23. Cases Reais
23

24. 24
Case com Debezium
Delhivery
Empresa Indiana
https://debezium.io/blog/2020/02/25/lessons-learned-running-debezium-with-postgresql-on-rds/

25. 25
https://developer.nvidia.com/blog/merging-telemetry-and-logs-from-microservices-at-scale-with-apache-spark/
Case com Delta Lake
NVidia

26. Hands-on
26

27. 27
Código fonte
do hands-on

28. Código Completo da Talk
28
código fonte
do hands-on

29. 29
● Em um ambiente produtivo o Banco de dados pode apresentar erros;
● Utilizar todas as configurações necessárias do Debezium;
● Não deixar replication slots inativos;
Lições Aprendidas

30. cicerojmm
/in/cicero-moura
@cicerojmm
cicerojmm
Cícero Moura Marco Nogueira
marcaoandradenogueira
/in/marco-antônio-andrad
e-nogueira-48b856129/
Marcaoandradenogueira
Obrigado pela presença!