SISPD - Ingestão de Dados - Etapas e Processo

1. SISPD – Sistemas de
Informação e o Suporte ao
Processo Decisório
Análise de dados, Business Intelligence e Business Analytics

2. Conteúdo
• Ingestão de Dados

3. Ingestão de dados
Overview

4. Ingestão de
Dados
• Papeis (Arquiteto, Engenheiro e Cientista)
• Data Driven
• Modelagem / Data Mart / Data Warehouse
• Processo de ETL / ELT / Virtualização de
Dados
• Staging / ODS / Slowly Change Dimension
• Data Lake / Delta Lake e afins
• Banco de Dados NoSQL
• Notebook´s para Machine Learning / Apache
Spark

5. Extração,
Transformaç
ão e Carga
• ETL.
• Extração, transformação e carga
• Extract, Transform and Load

6. Extração,
Carga e
Transformaç
ão.
• ELT.
• Extração, carga e transformação.
• Extract, Load and Transform.

7. Staging Area
• Staging.
• Área intermediária.

8. Operational
Data Store
• ODS.
• Operational Data Store.
• Armazenamento de dados operacionais

9. Operational
Data Store
• ODS.

10. Slowly
Change
Dimension
• SCD - Slowly Change Dimension.
• Para gerenciar mudanças em dados de
dimensões ao longo do tempo.
• https://en.wikipedia.org/wiki/
Slowly_changing_dimension

11. Change Data
Capture
• CDC - Change Data Capture.
• Em bancos de dados, a captura de dados
alterados (CDC) é um conjunto de padrões de
design de software usados para determinar e
rastrear os dados que foram alterados (os
"deltas") para que ações possam ser tomadas
usando os dados alterados. O resultado é um
conjunto de dados orientado por delta.

12. Change Data
Capture
• CDC - Change Data Capture.
• CDC é uma abordagem para integração de
dados baseada na identificação, captura e
entrega das alterações feitas nas fontes de
dados corporativos. Por exemplo, pode ser
usado para atualização incremental de
carregamento de dados.