Existem duas abordagens principais para o desenvolvimento de data warehouses e data marts: a abordagem de Kimball e a abordagem de Inmon. Embora concordem que o desenvolvimento deve ser iterativo e focado nas necessidades dos utilizadores, diferem na modelagem dos dados e na implementação, com Kimball defendendo uma abordagem bottom-up centrada nos data marts e Inmon uma abordagem top-down centrada no data warehouse corporativo.

1. Abordagem Kimball Vs. Abordagem Inmon Ana Henriques n.º 50247 28-05-09

2. Informação Empresas (a partir da década de 90): Necessidade de lidar com informações de forma a conseguir vantagem competitiva. Aprender a colectar e processar os dados gerados pelas suas operações. Primeiras Propostas: DSS (Decision Support Systems) EIS (Executive Information Systems) Trabalhavam com dados oriundos dos sistemas transaccionais da empresa -> optimizava o processo operacional, mas não o de análise de dados. 28-05-09

3. Solução: Data Warehouse (DW) Definição inicial – “uma estrutura de armazenamento central de dados, estruturada segundo um modelo Entidade-Associação (EA) e não-questionável”. (Inmon, 1996) Colecção de dados relacionados a alguma área da empresa, organizados para dar suporte à decisão e baseados nas necessidades de um determinado departamento. (Inmon, 1998) Fonte de dados para consulta da organização (Kimball, 1998) 28-05-09

4. Diferentes Abordagens Data Warehouse/Marts Inmon: Data Warehouses e Data Marts (DM) têm estruturas essencialmente diferentes. Difícil integrar um conjunto de Data Marts e mesmo que se consiga não resultará num Data Warehouse. (1998) Data Mart deriva do Data Warehouse. Kimball: “ O Data Warehouse é constituído pela união de todos os seus Data Marts”. (Kimball 1997) 28-05-09

5. Implementação de Data Warehouses/Marts Ambos concordam que: A solução completa é muito complexa para ser feita de uma só vez. A sustentação do projecto depende da entrega rápida de uma solução parcial que: agrade aos utilizadores; justifique o seu investimento. (Gallas, 1999) 28-05-09

6. Implementação de Data Warehouses/Marts Kimball: Prévia modelagem da organização. Implementação de um Data Mart de cada vez. Conformados de acordo com a modelagem. Inmon: Prévia modelagem da organização. Implementação iterativa do Data Warehouse. O sistema começa pequeno e evolui progressivamente em espaços curtos de tempo. (Inmon, 1998) 28-05-09

7. Conclusões A diferença de abordagem é mais relativa à terminologia utilizada do que propriamente conceptual. Inmon: Refere-se ao Data Mart como uma colecção de dados derivada do Data Warehouse. Kimball: O Data Mart é a própria unidade lógica do Data Warehouse. Estão a falar de coisas diferentes. 28-05-09

8. Implementação de Data Warehouses/Marts Kimball: Elementos Básicos de um DW : Fontes Operacionais de Dados Área de Retenção ( Staging Area ) Servidores de Apresentação Nível de Acesso do Utilizador Final Ciclo de Vida Dimensional do Negócio: Planeamento e Gestão de Projecto Definição dos Requisitos de Negócio Tracking: Data Track Technology Track Application Track Instalação Melhoria e Ampliação 28-05-09

9. Elementos Básicos do Data Warehouse - Kimball 28-05-09

10. Ciclo de Vida Dimensional do Negócio - Kimball 28-05-09

11. Implementação de Data Warehouses/Marts Inmon: Recenseamento dos dados Definição dos requisitos Ciclo totalmente distinto da metodologia de Kimball. Abordagem Top-Down centrada nos dados. Actualmente: Introdução de uma fase de Organização Inicial do Projecto. Suaviza a excessiva dependência dos dados presente na proposta inicial. Âmbito, objectivos, áreas de assunto, abordagem e arquitectura. Em paralelo: Definição da Infra-Estrutura Técnica Desenho Preliminar Modelização dos Dados As três fases anteriores convergem para a fase do Desenho Físico: Processo iterativo de desenvolvimento do DW com um fluxo em espiral. 28-05-09

12. Metodologia de Desenvolvimento de DW - Inmon 28-05-09

13. Implementação de Data Warehouses/Marts Inmon: Ampliação do Modelo de Dados Corporativo: Modelo de Dados de Alto Nível ou Diagrama Entidade - Associação. Modelo de Dados de Nível Intermédio. Modelo de Dados de Baixo Nível. O autor admite que os modelos dimensionais constituem as estruturas mais adequadas ao acesso e integração dos utilizadores com os conteúdos de um DW. Acentua a actual convergência observada entre as metodologias de Kimball e Inmon. 28-05-09

14. Operational Data Store (ODS) Inmon: “ uma estrutura de armazenamento dos valores actuais dos dados, orientada a um assunto, integrada, volátil, contendo apenas dados corporativos detalhados. É em essência um sistema operacional, separado do DW. Suporta constantes acessos Actualizações operacionais Kimball: O ODS contém dados integrados com granularidade mais detalhada. Pode ser utilizado para suporte do nível mais baixo do DW. É de facto parte do DW: constitui o front page de um DW de Kimball. (Kimball 1998, 1997b) 28-05-09

15. Kimball Vs. Inmon (vantagens) 28-05-09 Bill Inmon Ralph Kimball Melhor definição estratégica do projecto. Infra-Estrutura mais adequada às exigências de um SAD. DW Corporativo (DWC) modelizado segundo um modelo normalizado (EA): simplificação nos procedimentos de ETL; menor taxas de crescimento do volume de dados. DWC modelizados segundo modelo desnormalizado (esquemas em galáxia): estrutura mais flexível, comportando mais facilmente as alterações nos sistemas fonte; Desenvolvimento de modelos mais intuitivos e com melhor desempenho. Proporciona um recenseamento integral dos sistemas fonte e conteúdos existentes na organização. Abordagem Iterativa centrada nas necessidades de informação. Permite antecipar a entrega de resultados. Desenvolve uma abordagem sistematizada e completa sobre os processos de integração. Garante o maior envolvimento dos utilizadores. Metodologia mais vocacionada para definição das componentes de back-end. Permite fasear os custos de investimento em infra-estrutura. Proporciona um melhor time to market (maior ROI). Abordagem de implementação totalmente integrada.

16. Kimball Vs. Inmon (desvantagens) 28-05-09 Bill Inmon Ralph Kimball Abordagem Top-Down centrada nos dados, mais morosa e dispendiosa. Dificuldade em definir as dimensões e factos conformes (consenso nos aspectos essenciais à criação de um modelo de dados corporativo segundo um esquema em galáxia). Maiores custos iniciais em TI. Esquemas em galáxia do DWC -> vertiginoso crescimento do volume de dados armazenado. Abordagem excessivamente centrada nos dados (todo o processo de desenvolvimento depende da prévia conclusão do modelo corporativo dos dados: inviabiliza o envolvimento dos utilizadores no projecto; prolonga o período de ausência de resultados. relega para segundo plano a identificação das reais necessidades de informação dos utilizadores. Conduz à obtenção de procedimentos de ETL, mais complexos: modelos dimensionais requerem operações adicionais de transformação e agregação dos dados dos sistemas operacionais (usualmente representados em modelos normalizados); alterações ao nível dos sistemas operacionais implicam alterações em procedimentos dedicados a diferentes esquemas em estrelas de diferentes granularidades. Modelos normalizados -> pior desempenho analítico, sendo menos adequados e intuitivos para os SAD. Processo de desenvolvimento fragmentado: primeiro o DWC. depois os Data Marts – dependem dos índices de utilização verificados no DWC.

17. Bibliografia Tese Mestrado) Sistema de Apoio à Decisão para a Info Académica do IST, Elsa Cardoso, 2003 (Cap. 3) (Livro) The Data Warehouse Lifecycle Toolkit: pratical techniques for building dimensional data warehouse , R. Kimball, Wiley 1996 (Livro) The Data Warehouse Lifecycle Toolkit: experts methods for designing, developing, and deploying data warehouses, R. Kimball, Wiley 1998 (Livro) Building the data warehouse, W.H. Inmon, 3rd Edition, Wiley, 2002 (Livro) Data Marts Does Not Equal Data Warehouse, 2 ed. New York: John Wiley & Sons , 1996. (Artigo) Inmon vs Kimball , S. Gallas, DM Review 1999, http://www.dmreview.com/article_sub.cfm?articleID=1400 (Artigo) Differences of Opinion , R. Kimball, M. Ross, March, 2004, c (URL) www.dmreview.com (URL) http://www.inmoncif.com/ (URL) http://www.intelligententerprise.com/ (URL) http://www.dw-institute.com/ 28-05-09