Palestra sobre Data Quality e Modern Data Stack realizada no TDC Business em SP 2023.

1. TRILHA ENGENHARIA DE DADOS
Escalando a Qualidade de Dados com
Great Expectations e Spark
no Modern Data Stack
Business 2023

2. - Data Architect @ ViaHub;
- Bacharel em Sistemas de Informação
pelo IFG;
- Pós graduado em Big Data e
Machine Learning pela Fasam;
Cicero Moura
cicerojmm
/in/cicero-moura
/cicerojmm

3. 3
Modern Data Stack
01
Great
Expectations
03
Arquitetura de Dados
05
Qualidade
de Dados
02 04
Dicas e Insights
06
Great Expectations e
Spark na Prática
Sobre o que vamos conversar?

4. O que é o
Modern Data Stack?
4

5. 5
“O Modern Data Stack é um conjunto flexível de
tecnologias que ajudam as empresas a
armazenar, gerenciar e aprender com seus
dados de forma rápida e eficiente”.

6. Por que agora?
6
● Amadurecimento da área de Dados;
● Tecnologias mais sólidas;
● Conceitos e práticas onde é possível formar o
Modern Data Stack (MDS).

7. Pilares do MDS
7
Reverse ETL
Metrics Layer
Data Mesh
Data Catalog
3.0
Data Team
as Product
Team
Data
Observability

8. Pilares do MDS
8
Reverse ETL
Metrics Layer
Data Mesh
Data Catalog
3.0
Data Team
as Product
Team
Data
Observability
Data Quality

9. Arquitetura com Referências
9

10. 10

11. Qualidade de Dados
11

12. 12
A Qualidade de Dados é um dos maiores desafios
enfrentados pelas empresas atualmente.
A favor de dados precisos, confiáveis e relevantes.

13. Great Expectations
13

14. O que é o Great Expectations?
14
● O Great Expectations (GE) é uma ferramenta de
qualidade de dados open source;
● É possível definir expectativas sobre seus dados e
verificar se elas atendem ou não.
■ Expectativas padrões;
■ Expectativas customizadas e;
■ Perfil completo sobre os dados.

15. Principais funcionalidades
15
● Testes de dados diretamente de dataframes criados
com Pandas ou Spark;
● Documentação dos testes em HTML de forma
automática;
● Criação de suítes e checkpoints dos testes;
● CLI que facilita a criação dos casos de testes;
● Integração nativa com diversas origens de dados.

16. Arquitetura com
Great Expectations e Spark
16

17. Cenário de Negócio - Exemplo
17
● Temos dados armazenados em um Data Lake que se
encontra no S3 da AWS;
● Precisamos verificar a qualidade dos dados antes
que o negócio tome decisões críticas em cima deles;
● Os dados são sobre vendas de produtos de um
e-commerce.

18. 18

19. 19
Case 1: Great Expectation + EMR + Airflow

20. 20
Case 2: Great Expectation + Glue ETL + EventBridge

21. Great Expectations e Spark
na Prática
21

22. Cenário de Negócio - Exemplo
22
Carregar os dados de teste;
Configurar destino da data docs;
Criar um profile dos dados;
Adicionar casos de testes;
Executar testes;

23. Caso de Teste: Profile dos Dados
23

24. Caso de Teste: Validadores
24

25. Executando os Casos de Testes
25

26. Executando os Casos de Testes
26

27. Executando os Casos de Testes
27

28. Executando os Casos de Testes
28

29. Executando os Casos de Testes
29

30. Executando os Casos de Testes
30

31. Executando os Casos de Testes
31

32. Documentação dos testes
32

33. Dicas e Insights
33

34. Dicas e insights
34
● O Great Expectations possui uma comunidade bem
ativa e com muitas evoluções;
● É interessante criar um framework para
desenvolvimento e padronização da qualidade de
dados;
● Criar relatório para monitoramento da qualidade de
dados;
● Agregar o Great Expectations com um catálogo de
dados é essencial;

35. 35
Mais do que ter os dados disponíveis para
análise, é preciso garantir a qualidade deles.

36. 36
Código completo
https://bit.ly/tdc-ge-2023

37. 37
cicerojmm.medium.com

38. 38
linkedin.com/in/cicero-moura

39. /in/cicero-moura
Obrigado!