O documento discute conceitos gerais de ETL, que é a etapa de extrair, transformar e carregar dados dos sistemas transacionais para alimentar soluções de business intelligence. Ele explica o que significa cada parte do ETL e destaca a importância da análise de requisitos, mapeamento de dados e identificação de necessidades de negócio e usuários como primeira etapa do projeto. Também apresenta tipos comuns de carregamento de dados no data warehouse.

1. Conceitos gerais de ETL
Por Roberto Oliveira – www.robertooliveira.com.br

2. • Antes de pensar em utilizar o Qlikview para
criar super dashboards com indicadores e
KPI´s temos que realizar a etapa de ETL
• É esta etapa que vai preparar e disponibilizar
os registros dos sistemas transacionais para
alimentar o seu BI, então leia atentamente a
explicação e qualquer dúvida entre em
contato.

3. • O que significa ETL?
– “Extract”: extrair informações dos sistemas
legados;
– “Transformation”: transformar, limpar, formatar a
informação, sem mudar as propriedades originais;
– “Load”: preparar a informação para a camada de
apresentação.

4. • 1ª Etapa do projeto de ETL - Análise de requisitos
– Criar uma estratégia para tratar:
• - Necessidade de Negócio
• - Compliance
• - Data Profiling
• - Segurança
• - Integração de Dados
• - Latência nos Dados
• - Archiving e Lineage
• - Licenças/Legados

5. • Divida o projeto de BI nas áreas onde o mesmo será
desenvolvido e após isso:
– - Conduza entrevistas com os usuários
– - Identifique os KPI’s esperados
– - Identifique as necessidades das análises:
• Consultas e Relatórios
• Identifique as principais pesquisas
• Identifique os dados e correlações
• Levante os modelos de decisões necessários
– - Verifique as fontes de dados em relação às necessidades
levantadas
– - Mapeie os gap’s e os riscos.

6. Medida Informação numérica proveniente da medição das transações da empresa
Tabela fato Principal tabela no DW onde as medidas são armazenadas
Tabela dimensão
Contém as informações descritivas e qualificadores do negócio. É a porta de entrada
do DW
Grão
Menor nível de informações existente no DW e definida pelas dimensões ligadas às
tabelas fato.
Surrogate Key Chave substituta gerada no DW. É a chave primária das tabelas
Business Key Chave primária do transacional. Utilizada como chave de negócio
Hierarquia Conjunto de atributos que possui uma ordem lógica do maior ao menor nível
Atributo Campo descritivo referente a uma dimensão
Conceitos utilizados no ETL:

7. Tipos de Carregamento do Data WareHouse:
a) Substituição/Atualização
• Fácil de implementar, porém não guarda histórico
• Substitui o valor do campo atual com o novo valor recebido
b) Adição
• Mantém o histórico de forma temporal, incluindo uma nova linha para cada alteração
• Geração de nova chave primária para cada versão do registro
• Chave original (business key) se mantém inalterada
• Pode-se incluir campos de data para identificar a data de vigência
c) 2 colunas
• Uma coluna para o valor histórico e uma coluna para o valor atual
• Permite a visualização de 2 versões simultaneamente

9. FIM