Business Intelligence - Data Warehouse

851 visualizações

Publicada em

Conhecimentos sobre projeto e modelagem de um Data Warehouse.

Publicada em: Educação
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
851
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
88
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Business Intelligence - Data Warehouse

  1. 1. GRADUAÇÃO Tecnologia em Gestão da Tecnologia da Informação Administração de Banco de Dados Criação e Manutenção de Data Warehouse Prof. Rudson Kiyoshi Souza Carvalho rudson.carvalho@gmail.com Parte 1 Versão 1.0 Setembro/2014 1
  2. 2. Ementa Projeto para a manipulação de tabelas e extração de informações, criação, manutenção, depuração e geração de informações de apoio à tomada de decisão. Criação e manutenção de Data Warehouse. Tecnologia em Gestão da Tecnologia da Informação 2
  3. 3. Obje?vo Tecnologia em Gestão da Tecnologia da Informação 3 Colocar à disposição do aluno conhecimentos sobre projeto e modelagem de um Data Warehouse.
  4. 4. Conteúdo Programá?co Tecnologia em Gestão da Tecnologia da Informação 4 Modelagem EnUdade-­‐Relacionamento Manutenção de Tabelas Modelagem para Data Warehouse Projeto de Data Warehouse e CRM Ambiente de Data Warehouse Processos e Ferramentas para Modelar um Data Warehouse Arquiteturas de Data Warehouse Granularidade de Dados Modelagem de Dados para Data Warehouse Dimensões Modelos Floco de Neve x Modelo Estrela Banco de Dados MulUdimensionais Manutenção de Dimensões UUlizando Ferramenta de Data Warehouse Roteiro de Modelagem para Data Warehouse Metadados
  5. 5. Sistema de Avaliação Tecnologia em Gestão da Tecnologia da Informação 5 Primeira Avaliação – Peso 4 Segunda Avaliação – Peso 6 Critério do Professor Prova Escrita Oficial PráUcas: 3.00 PráUcas: 3.00 Teóricas: 7.00 Teóricas: 7.00 Total: 10.00 Total: 10.00
  6. 6. Avaliação Tecnologia em Gestão da Tecnologia da Informação 6 T1 – Apresentação em Grupo + P1 -­‐ Prova Teórica T2 – ArUgo + P2 -­‐ Prova Teórica T1 e T2 – Trabalhos em Grupo até 4 parUcipantes (T1 + P1) * 0.4 + (T2 + P2) * 0.6 = Nota Final
  7. 7. Avaliação Tecnologia em Gestão da Tecnologia da Informação 7 Trabalho 1 Tema 1: Sistemas de Gestão Empresarial (ERP) Tema 2: Sistemas de Gestão do Relacionamento com o Cliente (CRM). • Apresentado em sala de aula (até 20 minutos de apresentação). • Todos deverão realizar a apresentação.
  8. 8. Avaliação Tecnologia em Gestão da Tecnologia da Informação 8 Conteúdo do Trabalho (apresentação): • Informações e histórico do fornecedor; • CaracterísUcas de negócio do produto; • Módulos oferecidos; • CaracterísUcas funcionais do produto; • Informações sobre a implementação; • Casos de implementação; • Market share do fornecedor; • Considerações do grupo sobre o produto e o fornecedor.
  9. 9. Tecnologia em Gestão da Tecnologia da Informação 9 Conceitos Fundamentais
  10. 10. TI vs Negócio Existe carência, nos dias atuais, de gestores de TI que realmente apoiem as diversas áreas da organização, levando inovações que gerem valor em um modelo de PARCERIA entre a TI e as demais áreas de negócio. Tecnologia em Gestão da Tecnologia da Informação 10 Tecnologia da Informação Área de Negócios
  11. 11. Valor dos Dados Tecnologia em Gestão da Tecnologia da Informação 11
  12. 12. Dado X Informação x Conhecimento x Sabedoria Tecnologia em Gestão da Tecnologia da Informação 12 Pensem no “DADO” com um mero pingo de água… Estamos andando na rua e senUmos um pingo cair em nossa cabeça. Será que este pingo, representa chuva?
  13. 13. Dado X Informação x Conhecimento x Sabedoria Tecnologia em Gestão da Tecnologia da Informação 13 E se ao olharmos para o céu, percebemos que existem núvens? E se notarmos os primeiros pingos caindo? E se notarmos alguns raios? Chegamos a informação que vai chover.
  14. 14. Dado X Informação x Conhecimento x Sabedoria Tecnologia em Gestão da Tecnologia da Informação 14 O conhecimento é quando percebemos que com a chuva nós vamos nos molhar e talvez não consigamos chegar a tempo num compromisso.
  15. 15. Dado X Informação x Conhecimento x Sabedoria Tecnologia em Gestão da Tecnologia da Informação 15 A sabedoria, é quando decidimos o que vamos fazer com a informação.
  16. 16. Sistemas de Informação Tecnologia em Gestão da Tecnologia da Informação 16
  17. 17. Apoio a Descisão Tecnologia em Gestão da Tecnologia da Informação 17
  18. 18. Onde os dados estão nas Organizações? Tecnologia em Gestão da Tecnologia da Informação 18
  19. 19. ERP – Enterprise Resource Planning Tecnologia em Gestão da Tecnologia da Informação 19
  20. 20. ERP – Enterprise Resource Planning Tecnologia em Gestão da Tecnologia da Informação 20 Sistemas Integrados de Gestão Empresarial • Enterprise Resource Planning – “um pacote de sosware de negócios que permite a uma companhia automaUzar e integrar a maior parte de seus processos de negócio” (Souza & Zwicker, 2000). • A idéia é integrar os processos de negócio e, portanto, os próprios departamentos e suas funções em um único sistema. • Os departamentos passam a ser atendidos em suas necessidades pelo sistema único. (EBS, PeopleSoU, JD Edwards, ...) (Protheus, RM Sistemas , Logix, Data Sul…) (Dynamics)
  21. 21. Sistemas Integrados de Gestão Empresarial Tecnologia em Gestão da Tecnologia da Informação 21
  22. 22. ERP – Market Share Brasil Tecnologia em Gestão da Tecnologia da Informação 22 Fonte: FGV EAESP -­‐ 2000
  23. 23. CRM – Customer Rela?onship Management Tecnologia em Gestão da Tecnologia da Informação 23
  24. 24. CRM – Customer Rela?onship Management Customer RelaUonship Management (CRM) é um termo em inglês que pode ser traduzido para a língua portuguesa como Gestão de Relacionamento com o Cliente (Gestão de Relação com o Cliente, em Portugal). Criada para definir toda uma classe de ferramentas que automaUzam as funções de contato com o cliente, essas ferramentas compreendem sistemas informaUzados e fundamentalmente uma Tecnologia em Gestão da Tecnologia da Informação 24 mudança de a]tude corpora]va, que obje]va ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-­‐relacionando de forma inteligente, informações sobre suas aUvidades e interacções com a empresa. hxp://pt.wikipedia.org/wiki/Customer_relaUonship_management
  25. 25. CRM – Customer Rela?onship Management Tecnologia em Gestão da Tecnologia da Informação 25
  26. 26. Business Intelligence -­‐ BI Tecnologia em Gestão da Tecnologia da Informação 26
  27. 27. Business Intelligence -­‐ BI Inteligência empresarial (ou Business Intelligence, em inglês), refere-­‐se ao processo de coleta, organização, análise, comparUlhamento e monitoramento de informações que oferecem suporte a gestão de negócios. O conceito surgiu na década de 90 e descreve as habilidades das corporações para aceder a dados e explorar informações e recursos financeiros em proveito dos diretores (normalmente conUdas em um Data Warehouse/Data Mart), analisando-­‐as e desenvolvendo percepções e entendimentos a seu respeito, o que lhes permite incrementar e tornar mais pautada em informações a tomada de decisão. hxp://pt.wikipedia.org/wiki/Inteligência_empresarial Tecnologia em Gestão da Tecnologia da Informação 27
  28. 28. Prioridades CIOs (Chief Informa?on Officer) Tecnologia em Gestão da Tecnologia da Informação 28
  29. 29. Business Intelligence – Elementos Tecnologia em Gestão da Tecnologia da Informação 29 Um sistema-­‐padrão de business intelligence é, portanto, composto pelos seguintes elementos: • Módulo de ETL (extrac0on, transforma0on and loading) – Componente dedicado à extracão, transformação e carregamento de dados. É a parte responsável pela coleta das informações nas mais diversas fontes (sistemas ERP, arquivos TXT ou ficheiros Excel); • Data warehouse/Data marts – Locais onde ficam concentrados todos os dados extraídos dos sistemas operacionais. A grande vantagem de ter um repositório de dados separado consiste na possibilidade de armazenar informações históricas e agregadas, construindo assim um melhor suporte para as análises; • Front-­‐end – Parte de um projeto de BI visível ao usuário. Pode conter dashboards, relatórios padronizados, consultas ad hoc, portal de intranet/Internet/Extranet, análise OLAP e funções diversas como data mining.
  30. 30. Plataformas de Business Intelligence Tecnologia em Gestão da Tecnologia da Informação 30
  31. 31. Tecnologia em Gestão da Tecnologia da Informação 31 Banco de Dados Conceitos Básicos
  32. 32. OLTP – Online Transac?on Processing Os sistemas OLTP são uUlizados para o processamento de transações em tempo real, são sistemas que se encarregam de registrar todas as transações conUdas em uma determinada operação organizacional. Exemplo de sistemas OLTP: • ERP • CRM • Sistema Tecnologia em Gestão da Tecnologia da Informação 32 bancário • Sistema de vendas • Sistema de Gestão hospitalar • Sistema de Gestão acadêmica
  33. 33. Banco de Dados Conceitos Básicos Tecnologia em Gestão da Tecnologia da Informação 33
  34. 34. Evolução dos Bancos de Dados Tecnologia em Gestão da Tecnologia da Informação 34
  35. 35. Tecnologia em Gestão da Tecnologia da Informação 35 Data Warehouse
  36. 36. Tecnologia em Gestão da Tecnologia da Informação 36 “Se conheces bem a si mesmo tanto quanto ao inimigo não temas a batalha; Já se conheces a si mesmo mas não conheces o inimigo para cada vitória terá uma derrota; Agora se não conheces a si mesmo nem ao inimigo foges do campo de batalha pois não terá a mínima chance.” Sun Tsu – 2500 AC
  37. 37. Data Warehouse Um armazém de dados, ou ainda depósito de dados, é uUlizado para armazenar informações relaUvas às aUvidades de uma organização em bancos de dados, de forma consolidada. O desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. hxp://pt.wikipedia.org/wiki/Armaz%C3%A9m_de_dados Tecnologia em Gestão da Tecnologia da Informação 37 Conjunto de dados de apoio às decisões gerenciais, integrado, não-­‐voláUl, variável em relação ao tempo e baseado em assuntos. Imon Ao processo de preparar os dados de um sistema de informação operacional de forma a se ter uma fonte de informações que possam dar suporte à tomada de decisões deu-­‐se o nome de data warehousing. Kimball
  38. 38. Data Warehouse Caracterís?cas Tecnologia em Gestão da Tecnologia da Informação 38 Caracterís]cas gerais: • Armazém de dados (Base de dados comumente relacional); • Dados/informações consolidadas; • Armazena grande quanUdade de dados; • Os dados não mudam (exceto na carga); • A modelagem favorece o desempenho de consultas.
  39. 39. Data Warehouse Visão Geral Tecnologia em Gestão da Tecnologia da Informação 39
  40. 40. Data Warehouse -­‐ Transformação / Integração Diferentes Fontes de Dados Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 40
  41. 41. Data Warehouse -­‐ Integração de Dados Tecnologia em Gestão da Tecnologia da Informação 41 Diferentes Fontes de Dados Data Warehouse
  42. 42. Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 42 Baseado em assuntos • Um DW sempre armazena dados importantes sobre temas específicos da empresa e conforme o interesse dos processos de negócio envolvidos. • Exemplo: Uma empresa pode trabalhar com vendas de produtos alimencios no varejo e o seu maior interesse é ver o perfil de seus compradores, então, o DW será voltado para as pessoas que compram seus produtos e não para os produtos que a empresa vende.
  43. 43. Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 43 Váriavel em relação ao tempo • Num Banco de Dados Transacional o dado se refere ao momento Atual • Num Data Warehouse o dado varia em relação ao tempo. Banco de Dados Transacional Data Warehouse
  44. 44. Data Warehouse Não Volá]l Nenhum dado pode ser alterado depois de incluído no DW – Em um BD transacional pode-­‐se inserir, alterar e excluir dados; – Em um DW somente inserções são possíveis; – Garante-­‐se que qualquer consulta a um dado relaUvo a um período de tempo sempre produza o mesmo resultado. Tecnologia em Gestão da Tecnologia da Informação 44
  45. 45. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 45
  46. 46. Arquitetura de um Data Warehouse Stanging Area (SA ou somente Stage) Representa uma área de trabalho que recebe as informações do ambiente OLTP e provê informações para o DW. • Modelo de dados não precisa ser modelado segundo uma técnica específica. • Não tem como objeUvo ser uUlizada para consulta, mas sim como área de Tecnologia em Gestão da Tecnologia da Informação 46 limpeza e transformações para o DW.
  47. 47. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 47 Opera]onal Data Store (ODS) Armazenamento de dados atuais ou quase atuais para suporte à decisões operacionais do dia-­‐a-­‐dia • Como o DW, ele é orientado a assunto, é integrado, porém é voláUl, ou seja, permite atualizações • Mostra a visão corporaUva dos dados em nível detalhado. • É uUlizado quando há a necessidade de se integrar os dados no nível operacional • Dados mais anUgos podem ser movidos e sumarizados para o DW
  48. 48. Arquitetura de um Data Warehouse Extração, Transformação e Carga (ETL) ETL, do inglês Extract Transform Load (Extração Transformação Carga), são ferramentas de sosware cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados geralmente em um Data Mart e um Data Warehouse, porém nada impede que também seja para enviar os dados para um determinado sistema da organização. Tecnologia em Gestão da Tecnologia da Informação 48
  49. 49. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 49 Modelagem Dimensional Na modelagem mulUdimensional os dados são organizados e estruturados em diversas dimensões. Um dos Upos de modelagem mulUdimensional mais uUlizado, é o Star Schema ou Esquema Estrela, desenvolvido por Ralph Kimball, um dos precursores do conceito de data warehouse.
  50. 50. Arquitetura de um Data Warehouse Data Marts Data Marts são subconjuntos departamentais focados em assuntos selecionados (e.g., um data mart de markeUng pode incluir informações de vendas, produtos e clientes). Tecnologia em Gestão da Tecnologia da Informação 50 Chaudhuri & Dayal
  51. 51. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 51 Esquema Estrela • O conceito de Esquema Estrela (em inglês: Star Schema) foi criado pelo estadunidense Dr. Ralph Kimball, ao propor uma visão para a modelagem de base de dados para sistemas de apoio a decisão. Sua principal caracterísUca é a presença de dados altamente redundantes, melhorando o desempenho. • Star schema ou esquema em estrela é uma metodologia de modelagem de dados uUlizada do desenho de um Data warehouse.
  52. 52. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 52 Esquema Estrela
  53. 53. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 53 Esquema Floco de Neve • Esquema floco de neve é uma variação do esquema estrela, no qual todas as tabelas de dimensão são normalizadas na terceira forma normal (3FN), ou seja, são reUrados das tabelas os campos que são funcionalmente dependentes de outros campos que não são chaves. • Recomenda-­‐se uUlizar o esquema floco de neve apenas quando a linha de dimensão ficar muito longa e começar a ser relevante do ponto de vista de armazenamento.
  54. 54. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 54 Esquema Floco de Neve
  55. 55. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 55 Online Analy]cal Processing (OLAP) • OLAP,ou On-­‐line AnalyUcal Processing é a capacidade para manipular e analisar um grande volume de dados sob múlUplas perspecUvas. • As aplicações OLAP são usadas pelos gestores em qualquer nível da organização para lhes permiUr análises comparaUvas que facilitem a sua tomada de decisões diárias. • A arquitetura OLAP possui ferramentas que são classificadas em cinco Upos que são: • ROLAP -­‐ OLAP Relacional • MOLAP – OLAP MulUdimensional • HOLAP – OLAP Híbrido • DOLAP -­‐ Desktop OLAP • WOLAP -­‐ Web OLAP Ferramenta OLAP a parUr de um navegador
  56. 56. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 56
  57. 57. Arquitetura de um Data Warehouse Tecnologia em Gestão da Tecnologia da Informação 57
  58. 58. Tecnologia em Gestão da Tecnologia da Informação 58 Fim Parte 1
  59. 59. Tecnologia em Gestão da Tecnologia da Informação 59

×