Modelagem
de Dados
• Papeis(Arquiteto, Engenheiro e Cientista)
• Data Driven
• Modelagem / Data Mart / Data Warehouse
• Processo de ETL / ELT / Virtualização de Dados
• Staging / ODS / Slowly Change Dimension
• Data Lake / Delta Lake e afins
• Banco de Dados NoSQL
• Notebook´s para Machine Learning / Apache
Spark
• Visualização de Dados
5.
Modelagem
de Dados
• Desenhoda estrutura de armazenamento
dos Dados.
• Este processo tem como objetivo organizar as
fontes de dados em um único sistema ou ao
menos direcioná-las para um mesmo
repositório
Modelagem
de Dados
• Desenhoda estrutura de armazenamento
dos Dados.
• Fatos: Tabela principal que armazena os "fatos"
que ocorreram, como por exemplo:
naquela data, aquele vendedor de código
99 vendeu 100 reais do produto código 11.
8.
Modelagem
de Dados
• Desenhoda estrutura de armazenamento
dos Dados.
• Dimensões: Tabela com as descrições dos itens
que estão na tabela de Fatos! Exemplo, o
vendedor 99 é o João, o produto 11 é Bicicleta
Modelagem
de Dados
• ETL/ Staging.
• ETL – processo de captura, tratamento e
carregamento dos dados.
• Staging – Área temporária para
armazenamento de dados antes de suas carga
no Data Warehouse.
11.
Modelagem
de Dados
• DataWarehouse / Data Mart
• Data Mart – Banco de dados Dimensional
departamental.
• Data Warehouse – Banco de Dados
Dimensional organizacional