Sumário
 Sistemas de apoio à decisão
 Data Warehouse
Sistemas de Apoio à Decisão (SAD)
 Informação
o Recurso mais importante para uma empresa tomar
decisões estratégicas
o Ob...
Sistemas de Apoio à Decisão (SAD)
 Dificuldades para obter informação
o Quantidade de dados a serem analisados cresce com...
Sistemas de Apoio à Decisão (SAD)
o Usam dados históricos mantidos em um banco de

dados convencional
o Dados históricos s...
 Benefícios dos Sistemas de Apoio à Decisão
o Determinar o mercado-alvo de um produto
o Definir o preço de um produto, cr...
Sistemas de apoio à decisão
 Problema: dados históricos não são mantidos nos BDs da empresa
o Volume de dados seria muito...
Data Warehouse
 Histórico
o Criado pela IBM na década de 60 com o nome Information

Warehouse
o Relançado diversas vezes ...
Data Warehouse
 Conceito
o Sistema que armazena dados históricos usados no processo de tomada

de decisão

o Integra os d...
Data Warehouse
 BDs usados nas aplicações de negócio são chamados BDs

operacionais

 DW é um BD informacional alimentad...
BD Operacional X Data Warehouse
BD Operacional

Data Warehouse

Usuários

Funcionários

Alta administração

Utilização

Ta...
Principais Características de um DW
 Para que seja considerado um Data Warehouse, um

banco de dados deve:
o Coletar dado...
Principais Características de um DW
 Um Data Warehouse também deve ser:
• Orientado a assunto

• Integrado
• Não-volátil
...
Principais Características de um DW
 Orientação a assunto
o Os dados em um DW são organizados de modo a

facilitar a anál...
Principais Características de um DW
 Integração
o Dados de um DW provém de diversas fontes

o Dados podem ser sumarizados...
Principais Características de um DW
 Não-Volátil
o Dados não são mais alterados depois de incluídos no
DW
o Operações no ...
Principais Características de um DW
 Variável com o Tempo
o Os dados no DW são relativos a um determinado
instante de tem...
Arquitetura de um DW
 Principais tarefas efetuadas pelo DW
o Obter dados dos BDs operacionais e externos

o Armazenar os ...
Arquitetura de um DW
 Principais componentes do DW
o Mecanismos para acessar e transformar dados

o Mecanismo para armaze...
Arquitetura de um DW
Arquitetura de um DW
Estrutura Interna de um DW
 Requisitos do DW
o Eficiente
•
•

Grande volume de dados imutáveis
Processamento paralelo e/o...
Estrutura Interna de um DW
o Expansível
•
•

Crescente volume de dados
Maior número de fontes de dados
Estrutura Interna de um DW
 Em geral são usados BDs relacionais para armazenar os

dados do DW

o Capazes de manter e pro...
Estrutura Interna de um DW
Estrutura Interna de um DW
 Obtenção de Dados
Estrutura Interna de um DW
 Busca de Informações
Estrutura Interna de um DW
 Modelo de Camadas
Estrutura Interna de um DW
 Funções das Camadas do DW
o Dados Operacionais/Externos: fontes de dados
o Acesso aos Dados: ...
Granularidade
 Granularidade
o Nível de detalhe dos dados
o De extrema importância no projeto do DW
Granularidade
 Dados x Granularidade
o Dados Atuais
•
•

Refletem acontecimentos recentes
Alto nível de detalhe (baixa gr...
Metadados
 Os Metadados são dados sobre os dados
o Para cada atributo mantido no DW há uma entrada no
dicionário de dados...
Metadados
 Camadas de Metadados
o Metadados Operacionais


Definem a estrutura dos dados operacionais

o Metadados do DW...
Metadados
 Classificação em função dos dados descritos
o Metadados de Mapeamento


Como BDs operacionais são mapeados no...
Metadados
 Fontes de Metadados
o Código fonte dos SBDs operacionais
o Diagramas CASE de BDs operacionais e do DW
o Docume...
Tipos de Data Warehouse
 DW baseado em Servidor
o Mainframe ou servidor de rede local (LAN)
 DW Virtual
o Reúne dados op...
Etapas de implantação de um Data Warehouse
 A implementação de um projeto de Data Warehouse depende de ações

políticas e...
 A implantação de um projeto de DW envolve a extração dos

dados, que são provenientes de diferentes fontes, sua
transfor...
 A primeira fase do processo de data warehousing consiste em

“isolar” a sua informação operacional atual, preservando a
...
 Como já dissemos, o DW acessa dados de uma grande

variedade de bancos de dados heterogêneos. Assim, os
dados são transf...
 O estágio de limpeza deve ser o mais dinâmico possível para acomodar

todos os tipos de consulta, mesmo aquelas que requ...
Tipos de Implementação de um
Data Warehouse
 Bottom-Up: é a forma de implementação mais barata

e com retorno mais rápido...
 Top Down: considerado o modelo padrão, nele todo o

conceito de estruturação terá como base a organização
como um todo e...
 Combinada (Intermediária): esta forma de

implementação integra os dois modos anteriormente
explicados, em que o planeja...
Caso de uso - Vivo
 Empresa: VIVO S/A
 Problema: Gerenciar informações de seus mais de 46

milhões de clientes
 Criada a partir de seis empresas de telecomunicações, a operadora Vivo

se viu diante de um grande desafio no processo d...
 Para chegar à receita ideal, a extração e a análise de dados ficou a

cargo de solução da MicroStrategy e todo o process...
 Outro benefício, de acordo com Daniela, foi a possibilidade de dirigir melhor

campanhas de marketing para incentivar o ...
Conclusão
 As informações tem sido cada vez mais valiosas nas

organizações, principalmente para o processo de tomada de
...
Referências
 http://wiki.icmc.usp.br/images/7/73/SCC5911ConceitosArquitetura.pdf

 http://www.dcc.fc.up.pt/~pbrandao/aul...
Data warehousing - Técnicas e procedimentos
Data warehousing - Técnicas e procedimentos
Próximos SlideShares
Carregando em…5
×

Data warehousing - Técnicas e procedimentos

805 visualizações

Publicada em

Data warehousing

Universidade federal do amazonas

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
805
No SlideShare
0
A partir de incorporações
0
Número de incorporações
9
Ações
Compartilhamentos
0
Downloads
42
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Data warehousing - Técnicas e procedimentos

  1. 1. Sumário  Sistemas de apoio à decisão  Data Warehouse
  2. 2. Sistemas de Apoio à Decisão (SAD)  Informação o Recurso mais importante para uma empresa tomar decisões estratégicas o Obtida pela análise de dados históricos de venda, produção, clientes, etc...  Análise de dados o Responsável por fornecer as informações vitais para a empresa o Pode aumentar a competitividade de uma empresa
  3. 3. Sistemas de Apoio à Decisão (SAD)  Dificuldades para obter informação o Quantidade de dados a serem analisados cresce com a expansão do negócio e com o passar dos anos o Dados conflitantes vindos de fontes diferentes podem gerar informações desencontradas o Impossível para um ser humano manter e analisar todos os dados o Informação não é mais mantida por gerentes devido à mobilidade no mercado de trabalho
  4. 4. Sistemas de Apoio à Decisão (SAD) o Usam dados históricos mantidos em um banco de dados convencional o Dados históricos são analisados usando técnicas de mineração de dados para obter informações usadas na tomada de decisões o Estatísticas de venda, produção, clientes, etc. podem ser levantadas e consideradas para tomar decisões estratégicas de negócio
  5. 5.  Benefícios dos Sistemas de Apoio à Decisão o Determinar o mercado-alvo de um produto o Definir o preço de um produto, criar promoções e condições especiais de compra o Verificar a eficácia de campanhas de marketing o Otimizar a quantidade de produtos no estoque o Responder rapidamente a mudanças no mercado e determinar novas tendências, ganhando eficiência e lucratividade
  6. 6. Sistemas de apoio à decisão  Problema: dados históricos não são mantidos nos BDs da empresa o Volume de dados seria muito grande o Desempenho seria insatisfatório  Solução: criar um BD exclusivamente para manter os dados históricos o Especializado para realizar poucas consultas sobre um grande volume de dados o Surge o Data Warehouse (DW) e posteriormente o Data Mining (DM)
  7. 7. Data Warehouse  Histórico o Criado pela IBM na década de 60 com o nome Information Warehouse o Relançado diversas vezes sem grande sucesso o O nome Data Warehouse foi dado por William H. Inmon, considerado o inventor desta tecnologia o Tornou-se viável com o surgimento de novas tecnologias para armazenar e processar uma grande quantidade de dados
  8. 8. Data Warehouse  Conceito o Sistema que armazena dados históricos usados no processo de tomada de decisão o Integra os dados corporativos de uma empresa em um único repositório  Funcionalidade o Criar uma visão única e centralizada dos dados que estavam dispersos em diversos BDs o Permitir que usuários finais executem consultas, gerem relatórios e façam análises
  9. 9. Data Warehouse  BDs usados nas aplicações de negócio são chamados BDs operacionais  DW é um BD informacional alimentado com dados dos BDs operacionais da empresa o Disponibiliza dados atuais e dados históricos o Dados podem ser sumarizados (condensados) para que sejam analisados o Contém também metadados, que são dados sobre os dados armazenados no DW
  10. 10. BD Operacional X Data Warehouse BD Operacional Data Warehouse Usuários Funcionários Alta administração Utilização Tarefas cotidianas Decisões estratégicas Padrão de uso Previsível Difícil de prever Princípio de funcionamento Com base em transações Com base em análise de dados Valores dos dados Valores atuais e voláteis Valores históricos e imutáveis Detalhamento Alto Sumarizado Organização dos dados Orientado a assunto e orientado a aplicações Orientado a assunto
  11. 11. Principais Características de um DW  Para que seja considerado um Data Warehouse, um banco de dados deve: o Coletar dados de várias fontes o Dados coletados devem ser transformados para que haja uma visão única dos dados o Dados devem ser usados por aplicativos para obter informações que dêem apoio à decisão
  12. 12. Principais Características de um DW  Um Data Warehouse também deve ser: • Orientado a assunto • Integrado • Não-volátil • Variável com o tempo
  13. 13. Principais Características de um DW  Orientação a assunto o Os dados em um DW são organizados de modo a facilitar a análise dos dados o Dados são organizados por assunto e não por aplicação, como em BDs operacionais
  14. 14. Principais Características de um DW  Integração o Dados de um DW provém de diversas fontes o Dados podem ser sumarizados ou eliminados o Formato dos dados deve ser padronizado para uniformizar nomes, unidades de medida, etc.
  15. 15. Principais Características de um DW  Não-Volátil o Dados não são mais alterados depois de incluídos no DW o Operações no DW • Em um BD operacional é possível incluir, alterar e eliminar dados • Já no DW é possível apenas incluir dados o Garante que consultas subseqüentes a um dado produzirão o mesmo resultado
  16. 16. Principais Características de um DW  Variável com o Tempo o Os dados no DW são relativos a um determinado instante de tempo
  17. 17. Arquitetura de um DW  Principais tarefas efetuadas pelo DW o Obter dados dos BDs operacionais e externos o Armazenar os dados o Fornecer informações para tomada de decisão o Administrar o sistema e os dados
  18. 18. Arquitetura de um DW  Principais componentes do DW o Mecanismos para acessar e transformar dados o Mecanismo para armazenamento de dados o Ferramentas para análise de dados o Ferramentas de gerência
  19. 19. Arquitetura de um DW
  20. 20. Arquitetura de um DW
  21. 21. Estrutura Interna de um DW  Requisitos do DW o Eficiente • • Grande volume de dados imutáveis Processamento paralelo e/ou distribuído o Confiável • • Funcionamento do sistema Resultado das análises
  22. 22. Estrutura Interna de um DW o Expansível • • Crescente volume de dados Maior número de fontes de dados
  23. 23. Estrutura Interna de um DW  Em geral são usados BDs relacionais para armazenar os dados do DW o Capazes de manter e processar grandes volumes o de dados o Otimizados para lidar com dados imutáveis  As ferramentas de análise empregam: o Técnicas de mineração de dados o Inteligência artificial: redes neurais, fuzzy, etc. o A Internet: Web mining, agentes móveis, etc.
  24. 24. Estrutura Interna de um DW
  25. 25. Estrutura Interna de um DW  Obtenção de Dados
  26. 26. Estrutura Interna de um DW  Busca de Informações
  27. 27. Estrutura Interna de um DW  Modelo de Camadas
  28. 28. Estrutura Interna de um DW  Funções das Camadas do DW o Dados Operacionais/Externos: fontes de dados o Acesso aos Dados: extrair dados dos BDs o Data Staging: transformar e carregar dados o Data Warehouse Físico: armazenar dados o Acesso aos Dados: localizar dados para análise o Acesso à Informação: analisar dados o Troca de Mensagens: transportar dados o Gerenc. de Processos: controlar atividades
  29. 29. Granularidade  Granularidade o Nível de detalhe dos dados o De extrema importância no projeto do DW
  30. 30. Granularidade  Dados x Granularidade o Dados Atuais • • Refletem acontecimentos recentes Alto nível de detalhe (baixa granularidade) o Dados Sumarizados • • Dados históricos condensados Menor nível de detalhe (maior granularidade) o Dados Antigos • • Dados históricos mantidos em fita, CD, etc Alto nível de detalhe (baixa granularidade)
  31. 31. Metadados  Os Metadados são dados sobre os dados o Para cada atributo mantido no DW há uma entrada no dicionário de dados o Os dados são processados, atualizados e consultados partindo dos metadados o Usuários ficam conhecendo a estrutura e o significado dos dados o No BD operacional, a estrutura e o significado dos dados estão embutidos nas aplicações
  32. 32. Metadados  Camadas de Metadados o Metadados Operacionais  Definem a estrutura dos dados operacionais o Metadados do DW   Orientados por assunto Informam como os dados do DW foram calculados e como devem ser interpretados o Metadados do Usuário   Organizam os metadados do DW com base em conceitos familiares ao usuário final
  33. 33. Metadados  Classificação em função dos dados descritos o Metadados de Mapeamento  Como BDs operacionais são mapeados no DW o Metadados de Sumarização  Como os dados foram sumarizados no DW o Metadados Históricos  Como a estrutura dos dados vem mudando o Metadados de Padrões de Acesso  Como os dados do DW vem sendo acessados o Metadados de Miscelânea
  34. 34. Metadados  Fontes de Metadados o Código fonte dos SBDs operacionais o Diagramas CASE de BDs operacionais e do DW o Documentação dos BDs operacionais e do DW o Entrevistas com usuários, administradores e programadores dos BDs e do DW o O ambiente de DW  Freqüência de acesso aos dados, tempo de resposta, controle de usuários, etc.
  35. 35. Tipos de Data Warehouse  DW baseado em Servidor o Mainframe ou servidor de rede local (LAN)  DW Virtual o Reúne dados operacionais e dados históricos mantidos em BDs – não há um DW central  DW Distribuído o DW global reúne dados de vários DWs locais  DW baseado na Web o Dados provenientes da World Wide Web
  36. 36. Etapas de implantação de um Data Warehouse  A implementação de um projeto de Data Warehouse depende de ações políticas e técnicas. No campo político, é necessário que exista o suporte da alta direção da empresa e o comprometimento dos gerentes e analistas de negócios. No campo técnico existem diferentes abordagens de implementação que devem ser analisadas para que a escolha possa ajudar, que os benefícios do projeto possam ser mais rapidamente visíveis e acelerar o processo de obtenção de apoio interno.  Um DW deve estar em consonância com as necessidades de negócio da empresa. Assim, a área de negócio deve ser a patrocinadora da iniciativa. Muitos projetos iniciados pela área de sistemas ou de TI fracassaram por não terem o necessário apoio político da direção da empresa ou por não terem definido um caso de negócio concreto.
  37. 37.  A implantação de um projeto de DW envolve a extração dos dados, que são provenientes de diferentes fontes, sua transformação e carga no DW são feitas por processos de ETL (Extract, Transformation, Load). Estes dados podem ser inseridos no DW e depois transferidos para os Data Marts ou os Data Marts podem ser criados antes do DW, com dados específicos de cada departamento da empresa.  O DW, que utiliza uma modelagem multidimensional, fomenta o OLAP (OnLine Analytical Processing), ferramenta de análise para apoiar a tomada de decisão, que, por sua vez, organiza as informações de forma a permitir que a análise dos negócios da empresa seja realizada, possibilitando, ao tomador de decisão, respostas rápidas para as questões relevantes aos negócios.
  38. 38.  A primeira fase do processo de data warehousing consiste em “isolar” a sua informação operacional atual, preservando a segurança e integridade de aplicações OLTP (OnLine Transaction Processing) críticas, ao mesmo tempo em que deve permitir o acesso de forma mais ampla possível à base de dados.  O DW resultante pode consumir centenas de GigaBytes ou mesmo TeraBytes de espaço em disco. Desta forma, torna-se necessário o uso de técnicas eficientes para armazenar e acessar grandes quantidades de informação. Grandes organizações que já implantaram DWs, concluíram que somente sistemas de processamento paralelo podem oferecer largura de banda suficiente para estas aplicações.
  39. 39.  Como já dissemos, o DW acessa dados de uma grande variedade de bancos de dados heterogêneos. Assim, os dados são transformados e enviados para o DW em um modelo seletivo. A transformação de dados e o processo de movimentação são executados toda vez que uma atualização nos dados do DW é requerida, logo, deve haver alguma forma automatizada para gerenciar e executar estas funções. A informação que descreve o modelo e a definição dos elementos da fonte de dados é chamada de metadados.  Os metadados são os meios pelos quais o usuário final compreende os dados no DW. A limpeza dos dados é um importante aspecto da criação de um DW eficiente. Devem ser removidos certos aspectos dos dados operacionais que podem retardar muitas consultas.
  40. 40.  O estágio de limpeza deve ser o mais dinâmico possível para acomodar todos os tipos de consulta, mesmo aquelas que requerem informações de baixo-nível. Os dados devem ser extraídos de fontes de produção em intervalos regulares de tempo e concentrados de maneira central, mas é importante que o processo de limpeza remova duplicações e normatize as diferenças entre os atributos dos dados. Somente após o processo de limpeza é que os dados podem ser transferidos para o DW.  O DW é tipicamente um grande repositório de dados em um sistema de alta performance, do tipo SMP - Symmetric Multi-Processingou MPP - Massively Parallel Processing, ou seja, sistemas multiprocessados ou paralelos. Somente um sistema com alto poder de computação pode garantir a eficiência do processo de implantação de um data warehousing, dada a complexidade envolvida no processamento e consultas e dada a grande quantidade de dados que geralmente a organização deseja armazenar.
  41. 41. Tipos de Implementação de um Data Warehouse  Bottom-Up: é a forma de implementação mais barata e com retorno mais rápido, pois permite a construção primeiramente dos Data Marts (subconjunto de dados de um DW) antes mesmo de uma definição da estrutura do DW, consequentemente se torna a forma mais rápida de implementação, de fácil manutenção e monitoração. No entanto, por não ser construído visando o cenário como um todo, pode acabar gerando inconsistências nos dados.
  42. 42.  Top Down: considerado o modelo padrão, nele todo o conceito de estruturação terá como base a organização como um todo e não apenas suprir necessidades de um determinado departamento, consequentemente deve ter um esquema padrão e centralizado para todos, a fim de evitar dados duplicados e integrar as informações. A razão para o nome deste tipo de implementação se deve ao seu fluxo, em que o DW nasce primeiramente e a partir dai as informações são distribuídas aos Data Marts, tal forma de implementação acaba sendo mais demorada em relação as demais.
  43. 43.  Combinada (Intermediária): esta forma de implementação integra os dois modos anteriormente explicados, em que o planejamento se baseia no Top Down em razão da modelagem dos dados possuir uma visão macro, e seu desenvolvimento segue o Bottom Up ao desenvolver cada Data Mart por vez a partir do macro modelo do DW. Esta forma de implementação traz como vantagem a consistência dos dados por possuir um único modelo no desenvolvimento dos Data Marts.
  44. 44. Caso de uso - Vivo  Empresa: VIVO S/A  Problema: Gerenciar informações de seus mais de 46 milhões de clientes
  45. 45.  Criada a partir de seis empresas de telecomunicações, a operadora Vivo se viu diante de um grande desafio no processo de unificação das companhias: reunir, em um único data warehouse corporativo (ou repositório de dados), todas as informações de seus mais de 46 milhões de clientes. O cenário era complexo. As empresas reunidas contavam com ferramentas de diversos fornecedores de business intelligence (BI), diferentes processos e mais de mil usuários.  Tudo isso gerava um tempo de resposta muito alto para a operadora. Para solucionar o problema, a empresa optou pela integração de todos os sistemas na plataforma da Teradata. Esta tarefa envolveu 40 áreas de negócios e 100 usuários concentrados no projeto, focados em integrar 2 bilhões de registros diários. Hoje, o tamanho do banco de dados é de 100 terabytes.
  46. 46.  Para chegar à receita ideal, a extração e a análise de dados ficou a cargo de solução da MicroStrategy e todo o processo de desenvolvimento teve relação estreita com a área de negócios. A ordem era não implementar nada que não partisse de uma necessidade dessas áreas. Resultado: uma economia de 28 milhões de dólares.  Deste valor, 15 milhões de dólares foram economizados com impostos, segundo Daniela Calaes, gerente de sistemas de BI da Vivo, que falou em evento da Teradata realizado esta semana em Washington (EUA). Além disso, ao conseguir obter um retrato mais fiel dos consumidores com potencial para se tornarem devedores, a Vivo conseguiu reduzir em 13 milhões de dólares a receita perdida em situações de clientes devedores.
  47. 47.  Outro benefício, de acordo com Daniela, foi a possibilidade de dirigir melhor campanhas de marketing para incentivar o consumo de diferentes produtos por clientes com potencial para aumentar gastos. E a própria rede e a cobertura tiveram melhorias. A partir das ferramentas de análise, a Vivo avaliou comportamentos atuais e históricos da rede para otimizar seu uso, identificar falhas e ampliar a infraestrutura onde fosse necessário. Assim, o custo da manutenção caiu em 20% e a capacidade da rede foi ampliada.  Para o futuro, a empresa prepara a integração com a Telemig Celular, cujaconclusão da compra foi realizada em abril do ano passado, e a implementação de novos módulos de informações, que já estão sendo requeridos pelas áreas de negócios. A área de TI da companhia quer também o aumento da performance do data warehouse, buscando garantir a informação sempre em tempo real.  Implementada a ferramenta, a meta agora é transformar o data warehouse na única fonte de dados da companhia, integrando todas as informações isoladas que ainda persistem na corporação.
  48. 48. Conclusão  As informações tem sido cada vez mais valiosas nas organizações, principalmente para o processo de tomada de decisão. Informações sobre a organização, a quantidade de vendas e de produtos em estoque são as mais básicas, porém informações consistentes e precisas sobre o comportamento de seus clientes e histórico dos últimos 7 anos, por exemplo, só são possíveis com o uso de data warehouses. Essa tecnologia em banco de dados tem estado presente em cada vez mais empresas de médio e pequeno porte devido aos grandes benefícios proporcionados, dentre eles a possibilidade de se ter uma visão consistente de toda a organização.
  49. 49. Referências  http://wiki.icmc.usp.br/images/7/73/SCC5911ConceitosArquitetura.pdf  http://www.dcc.fc.up.pt/~pbrandao/aulas/0203/bdm/pdfs/DataWarehousing. pdf  http://www.inf.ufsc.br/~fileto/Talks/IntrodDW-ERBD2009.pdf  http://www.efagundes.com/artigos/Quais%20as%20estrategias%20de%20impl ementacao%20de%20um%20data%20warehouse.htm  http://www.lume.ufrgs.br/handle/10183/25495  http://www.slideshare.net/julianamarialop/vivo-usando-o-data-warehousepara-tomada-de-deciso  http://mtc-m19.sid.inpe.br/col/sid.inpe.br/mtcm19/2012/09.25.11.26.39/doc/Leandro%20E%20de%20Oliveira.pdf  http://dwbrasil.wordpress.com/category/data-warehouse/

×