Transferir como PPSX, PPTX
Carregado porTânia Resende
Modelagem multidimensional conceitos básicos
O documento discute conceitos básicos de modelagem multidimensional, incluindo tomada de decisão gerencial, sistemas de apoio à decisão, data warehouse, data mart, granularidade e ETL. É apresentado o processo de extração, transformação e carga de dados, além de exemplos de questões e modelos de negócios multidimensionais.
Modelagem multidimensional conceitos básicos
- 1.
- 2. Tomada de DecisãoGerencial • É a escolha racional, dentre alternativas disponíveis, de um curso de ação, que se faz presente em todos os níveis da organização (estratégico, gerencial e operacional). • Identificar e selecionar um curso de ação para lidar com um problema específico ou extrair vantagens em uma oportunidade.
- 3. Sistemas de apoioà Decisão Gerencial Transformar dados em informações de suporte à decisão; Auxiliar na tomada de decisões estratégicas e táticas;
- 4. DATA WAREHOUSE –Armazém de Dados Bill Inmon : “É um banco de dados, orientado por assunto, integrado, não volátil e histórico, criado para suportar o processo de tomada de decisão.” Ralph Kimball : “Um armazém é uma cópia dos dados da transação especificamente estruturado para consulta e análise.”
- 5. DATA MART –Repositório de Dados Bill Inmon : “Data Mart é cada uma das partes físicas ou lógicas de um Data Warehouse corporativo. Um Data Mart corresponde às necessidades de informação de uma determinada comunidade de usuários.”
- 6. DATA MART –Repositório de Dados Arquitetura Top-Down Bill Inmon Arquitetura Botton-Up Ralph Kimball
- 7.
- 8.
- 9. ETL – ExtractTransform Load Extração Transformação e Limpeza Transform Staging Area Load Data Mart Usuário Final
- 10. Extração 1. Fonte: Considerardados oriundos dos sistemas transacionais 2. Meio de acesso ao sistema fonte: através de views 3. Horário da extração: fora do horário comercial. Deve constar no FLD – Formulário de Levantamento de Dados 4. Montar esquema de tabelas de staging 5. Periodicidade da extração: horária, diária, semanal, mensal. Deve constar no documento de requisitos
- 11. Transformação 1. Conversões deformatos: EBCDIC, ASCII, códigos geográficos (estados, países), conversões de medidas, caixa alta, etc. 2. Criação de dados derivados (Ex.: UEN Prestadora: obtida pelo tipo da unidade e a UF) 3. Separação e concatenação de dados, como quebra de datas, endereços, etc. 4. Limpezas de erros de entrada de dados (typing), inconsistência entre atributos com valores associados; campos ausentes; duplicação de informações com inconsistência entre fontes; aplicação de regras de negócio
- 12. Carga 1. Identificar osdados a serem carregados, mapeando o esquema de staging com o esquema dos modelos dimensionais 2. Tratar o mapeamento de chaves naturais para chaves surrogates 3. Carregar as dimensões 4. Carregar tabelas fato 5. Considerar aspectos de performance, como uso de paralelismo, presença ou ausência de índices e constraints 6. Considerar armazenar dados rejeitados, erros em tabelas de violação
- 13. Modelagem Multidimensional T Técnica demodelagem onde as informações se relacionam de maneira que podem ser representadas metaforicamente como um cubo.
- 14. Questões de Negócio Comonasce o modelo multidimensional ?
- 15. Questão de negócio: •Qual a quantidade de objetos do serviço Remessa Expressa extraviados/roubados e devolvidos ao remente, por DR de destino, por período (data de apuração), e por agrupamento de eventos finalizadores?
- 16. Objetos Extraviados/Roubados eDevolvidos ao Remetente
- 17. Fato de Negócio:Remessa Expressa
- 18. Questão de Negócio •Qual a quantidade exportada por Tipo de Malote, por DR Origem, por DR de Destino e por período?
- 19.
- 20. Fato de Negócio:Malotes Exportados
- 21. O que éModelagem Multidimensional ? “Cruzamento de dimensões de análise para achar uma métrica.” Carlos Caldo
- 22. Elementos de umModelo Multidimensional FATO DIMENSÃO MÉTRICA ECT_TD_TEMPO TEM_NU_ID_TEMPO TEM_DT_TEMPO TEM_DT_JULIANA TEM_IC_FERIADO_NACIONAL TEM_SG_DIA_SMNA TEM_NO_DIA_SMNA TEM_MM TEM_DD_MES TEM_NO_DIA TEM_NU_DIA_SMNA TEM_DD_ANO TEM_NU_SMNA_MES TEM_NU_SMNA_ANO TEM_NO_COMPLETO_MES TEM_NO_ABREVIADO_MES TEM_NU_MES_ANO REMESSA_EXPRESSA_FAT TEM_NU_ID_TEMPO(FK) ORG_NU_ID_ORGAO(FK) cli_nu_identificador(FK) rem_qt_objeto ECT_DIM_ORGAO ORG_NU_ID_ORGAO ORG_NU_ORGAO ORG_NU_ORGAO_NIVEL_1_TEC ORG_NO_ORGAO_NIVEL_1_TEC ORG_NU_ORGAO_NIVEL_2_TEC ORG_NO_ORGAO_NIVEL_2_TEC ORG_NU_ORGAO_NIVEL_3_TEC ORG_NO_ORGAO_NIVEL_3_TEC ORG_NU_ORGAO_NIVEL_4_TEC ORG_NO_ORGAO_NIVEL_4_TEC ORG_NU_ORGAO_NIVEL_5_TEC ORG_NO_ORGAO_NIVEL_5_TEC ORG_NU_ORGAO_NIVEL_6_TEC ORG_NO_ORGAO_NIVEL_6_TEC ORG_NU_ORGAO_NIVEL_7_TEC ORG_NO_ORGAO_NIVEL_7_TEC ORG_NU_ORGAO_NIVEL_8_TEC ORG_NO_ORGAO_NIVEL_8_TEC ORG_NU_ORGAO_NIVEL_9_TEC ORG_NO_ORGAO_NIVEL_9_TEC ORG_NU_ORGAO_NIVEL_10_TEC ORG_NO_ORGAO_NIVEL_10_TEC ORG_NU_ORGAO_NIVEL_1_ADMCLIENTE_DIM cli_nu_identificador cli_co_origem cli_no cli_dt_carga cli_in_registro_corrente
- 23.
- 24. Tipos de ModelosMultidimensionais Modelo Star Schema
- 25.
- 26. Tipos de ModelosMultidimensionais Modelo Snow Flake
- 27. Roteiro para umaModelagem Eficaz
- 28.
Notas do Editor
- #2 Informações sobre a situação do negócio auxiliam gerentes na tomada de decisão. Quanto mais rápido uma informação chega aos gestores, mais rápido uma decisão é tomada; e isto significa lucro, competitividade e uma série de vantagens que podem com certeza ajudar a decidir o futuro de uma empresa. É através do conhecimento que o gerente toma suas decisões, e para isso ser mais eficaz possível foram criados sistemas de informação para apoiá-los.
- #4 PLANEJAMENTO ESTRATÉGICO: O planejamento estratégico diz respeito à organização como um todo. Logo, ao elaborar um plano estratégico, aconselha-se levar em consideração os ambientes internos e externos como fatores econômico-financeiros globais, fatores políticos e até sociais. Faz-se também necessário ter uma visão integrada desenvolvida. PLANEJAMENTO TÁTICO: O planejamento tático, por sua vez, esta relacionado com as diferentes áreas da instituição. Portanto, uma empresa que possui uma área financeira e uma área comercial traça planos financeiros e planos comerciais. Esses são os planejamentos táticos. no nível estratégico traçamos os objetivos, no tático as metas Assim sendo, o planejamento estratégico (estende-se ao longo prazo) é desdobrado em vários planejamentos táticos (médio prazo).
- #5 Os data warehouse surgiram como conceito acadêmico na década de 80. Com o amadurecimento dos sistemas de informação empresariais, as necessidades de análise dos dados cresceram paralelamente. Os sistemas transacionais não conseguiam cumprir a tarefa de análise com a simples geração de relatórios. Nesse contexto, a implementação do data warehouse passou a se tornar realidade nas grandes corporações Armazém de Dados, pode ser definido como um banco de dados especializado em unificar/integrar vários bancos de dados operacionais da empresa, que podem estar em diferentes linguagens e ambientes. O data warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais. São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Por definição, os dados em um data warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados.
- #6 Embora o data warehouse integrado e centralizado possa ser uma proposta muito atraente que resulte em vários benefícios, os gerentes podem relutar em adotar essa estratégia. A criação de um data warehouse exige tempo , dinheiro e considerável esforço gerencial. Portanto, não é surpreendente que muitas empresas iniciem sua incursão no data warehouse focando em conjuntos de dados mais gerenciáveis, orientados para atender às necessidades especiais de pequenos grupos no interior da organização. Um data mart é um pequeno subconjunto de um data warehouse, sobre um único assunto, que fornece suporte às decisões de um pequeno grupo de pessoas. Além disso, o data mart também pode ser criado a partir de dados extraídos de um data warehouse maior, com a finalidade específica de dar suporte a um acesso mais rápido por determinado grupo ou função. Ou seja, data marts e data warehouses podem coexistir em um ambiente de business intelligence. Data mart (repositório de dados) é sub-conjunto de dados de um Data Warehouse (armazém de dados). Geralmente são dados referentes a um assunto em especial (ex: Vendas, Estoque, Controladoria) ou diferentes níveis de sumarização (ex: Vendas Anual, Vendas Mensal, Vendas 5 anos), que focalizam uma ou mais áreas específicas. Seus dados são obtidos do DW, desnormalizados e indexados para suportar intensa pesquisa. Data marts extraem e ajustam porções de DWs aos requisitos específicos de grupos/departamentos. O DW é feito para atender uma empresa como um todo, o data mart é criado para atender um sub-conjunto da empresa.
- #7 Os Data Marts são bancos de dados modelados multidimensionalmente, orientados aos departamentos de uma empresa, por exemplo, a área comercial, financeira, marketing e logística construíram vários Data Marts (DM´s) cada uma. Ao final de dois anos, eles passaram a alimentar um DW que, depois de implementado, passou a fazer o caminho inverso, que é de alimentar os DM´s. Então com essa fundamentação, podemos definir que os DM´s podem surgir de duas maneiras. A primeira é top-down e a segunda é a botton-up. Top-down: é quando a empresa cria um DW e depois parte para a segmentação, ou seja, divide o DW em áreas menores gerando assim pequenos bancos orientados por assuntos aos departamentos. Botton-up: é quando a situação é inversa. A empresa, por estratégia sua, prefere primeiro criar um banco de dados para somente uma área. Com isso os custos são bem inferiores de um projeto de DW completo. A partir da visualização dos primeiros resultados parte para outra área e assim sucessivamente até resultar em um Data Warehouse.
- #8 Os dados de suporte a decisão devem ser apresentados em diferentes níveis de agregação, altamente resumidos a quase indivisíveis. Por exemplo, se os gerentes tiverem de analisar as vendas de SEDEX por região, devem acessar dados que mostrem as vendas por região, cidade da região, por agências dos Correios da cidades da região e assim por diante. Nesse caso , são necessários dados resumidos para comparar as regiões, mas também dados em uma estrutura que permita ao gerente decompô-los (drill down) em componentes menos divisíveis (ou seja, dados mais refinados em menores níveis de agregação). Por outro lado, ao agrupá-los (roll up), agregam-se os dados em um nível mais alto. - Nível de detalhe dos dados; - De extrema importância no projeto de Data Warehouse
- #10 ETL, do inglês Extract Transform Load (Extração Transformação Carga), são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um data mart ou um data warehouse. É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart. Extração Ler e entender o dado fonte e copiar partes que são necessárias para a área de data staging no futuro Transformação Limpar os dados através de: Correção de erros de digitação Resolução de conflitos Tratamento de dados perdidos Conversão para formatos padrão Carregamento e Indexação Envolve a replicação das tabelas de dimensões e fatos e a apresentação dessas tabelas para as facilidades de ingestão de cada data mart Normalmente efetuado em um único passo de carga O data mart alvo tem que indexar os novos dados para garantir performance Checagem de Qualidade Efetuada rodando ferramentas de relatório de exceções sobre o conjunto de dados carregados Checar por inconsistências em contagens, somas, séries de tempos Ferramentas de relatório de exceções vêm normalmente com as facilidade de geração de relatórios do usuário final dos data marts Publicação Notificação de que os novos dados estão prontos Comunicação de quaisquer mudancas que tenham ocorrido nas dimensões e novas “assumptions” que tenham sido incluídas nos fatos medidos e calculados
- #14 Modelagem Multidimensional Para a construção de um DW (Data Warehouse) umas das técnicas utilizadas e a modelagem dimensional, assim como os arquitetos desenham a planta de uma casa antes de levantar a primeira parede, e necessário desenhar o DW antes de construí-lo. Um modelo dimensional e formado basicamente por uma tabela fato central e tabelas dimensões ligadas diretamente a ela. Os sistemas de base de dados tradicionais utilizam a normalização no formato de dados para garantir consistência dos dados, minimização do espaço de armazenamento necessário e diminuição (redução) de redundâncias, que devem ser verificadas antes da conclusão do modelo de dados. Um Data Warehouse utiliza dados em formato desnormalizados. Isto aumenta o desempenho das consultas e como benefício adicional, o processo torna-se mais intuitivo para os usuários comuns. Essa maneira de reordenar os dados chama-se Modelagem Multidimensional, e o resultado da modelagem é o Modelo Multidimensional.
- #15 Em um sistema de Data warehousing, deve-se ter sempre em mente o que se irá medir e analisar. Qual parte do negócio é importante nas tomadas de decisões.
- #18 Perspectivas do FATO: ONDE O QUÊ QUANDO QUEM Elementos participantes de um Fato: Quem é ativo no Fato; Onde acontece o Fato; Quando acontece o Fato; O Quê participa do Fato.
- #22 Na intersecção das dimensões TEMPO, FUNCIONÁRIO e GERÊNCIA está o FATO DE PRODUTIVIDADE : quantidade de modelos que foi homologado pela GMQS.
- #23 Fato: acontecimento merecedor de análise e controle na organização; Dimensão: apresenta uma perspectiva dos dados. Ex.: por dia, por vendedor, por cliente, por produto; Métrica: são os valores a serem analisados, medidos. Ex.: total, percentual.
- #24 Aditivas: faz sentido somar seus valores ao longo de qualquer dimensão. Aplica-se o SUM em qualquer dimensão utilizada na FATO. Não-Aditivas: não faz sentido a soma de seus valores. Ex.: percentual: não faz sentido somar um percentual. Semi-Aditivas: faz sentido a soma de seus valores em certas dimensões. Tem alguma restrição em alguma dimensão, como a dimensão TEMPO.
- #25 No modelo estrela todas as dimensões relacionam-se diretamente com a fato; as dimensões não são normalizadas no modelo estrela; este modelo é chamado de ESTRELA porque a tabela fato fica ao centro cercada das tabelas dimensionais assemelhando-se a uma estrela Existem duas possibilidades de modelagem para um DW a Star Schema (modelo estrela) e a Snow Flake (floco de neve), vejamos algumas características de cada um: O Snow Flake, e composto por uma tabela fato, dimensões e sub-dimensões, as sub-dimensões são normalizações das tabelas dimensões, o que reduz o número de registros e por consequência necessita de menos espaço em disco, porem, por ser normalizado para exibir uma consulta serão necessários vários joins o que resulta em baixa velocidade das consultas, também torna complexa a manutenção do DW, normalmente utilizado por aplicações BI otimizadas para usar esse modelo. O Star Schema, tem como característica ser desnormalizado, repetindo muitas informações em cada linha das tabelas, oque torna necessário muito espaço em disco, o esquema estrela por ser desnormalizado reduz a quantidade de joins o que resulta em consultas velozes, por ter poucas tabelas se comparado ao snow flake podemos afirmar que a manutenção e mais simples. Uma consideração e necessária hoje em dia está cada vez mais barata, a aquisição de espaço de armazenamento, então, não devemos levar muito em conta o espaço em disco na hora da escolha de um dos modelos dimensionais. Um iniciante que esta ingressando no mundo DW/BI, pode se pergunta, “qual e o melhor para usar?”. Com certeza o Star Schema! Com uma granularidade baixa, por outro lado, dependendo do cliente e do assunto que será armazenado no DW, pode surgir a necessidade de usar alguma normalização. Devemos, acima de tudo, analisar a necessidade do cliente, se o esquema estrela usado em 99% dos casos é mais veloz, não proporcionar uma boa usabilidade para o gestor empresarial, podemos usar dos recursos do floco de neve, tomado cuidado para não degradar a performance das consultas do DW.
- #27 No modelo Floco de Neve as tabelas DIMENSÕES relacionam-se com a tabela FATO, mas algumas dimensões relacionam-se apenas entre elas; Ocorre através da normalização das tabelas dimensões, visando diminuir o espaço ocupado por estas tabelas.
- #28 Roteiro para uma Modelagem Eficaz Identifique o Processo a ser modelado; Identifique os Fatos e Métricas; Identifique as Dimensões; Identifique a Granularidade.