Data Warehouse Vinícius de Castro Amaral
Conceito O que é? Sistema que armazena dados históricos usados no processo de tomada de decisão Integra os dados corporativos de uma Empresa em um único repositório Para que serve? Para criar uma visão única e centralizada dos dados que estavam dispersos em diversos BDs Permite que usuários finais executem consultas, gerem relatórios e façam análises
Curiosidades Criado pela IBM na década de 60 com o nome de  Information Warehouse Relançado diversas vezes sem grande sucesso O nome Data Warehouse foi dado por William H. Inmon, considerado o pai desta tecnologia Tornou-se viável com o surgimento de novas tecnologias para armazenamento e processamento de uma enorme quantidade de dados
Objetivo Transformar uma base de dados em formato OLTP para uma base de formato OLAP OLTP Online Transaction Processing Processamento de Transações OLAP Online Analytical Processing Processamento Analítico
OLTP (Online Transaction Processing) Processamento de Transações Processamentos que executam as operações do dia-a-dia da Empresa Processamento rápido e eficiente dos dados Ex: movimento bancário
Início Saque (100,00) Depósito (700,00) Depósito (300,00) Fim Conta A Conta B Conta C Conta A =  500,00 Conta B =  200,00 Conta C =  100,00 Conta A =  400,00 Conta B =  900,00 Conta C =  400,00 Início Fim Exemplo de Processamento -  Transação OLTP
OLAP (Online Analytical Processing) Processamento Analítico Processamentos que exigem a tomada de decisões Obtido através da análise de dados históricos sobre vendas, produções, cliente, etc Melhor recurso do qual uma empresa pode dispor para tomar decisões estratégicas
Características De acordo com Inmon um Data Warehouse deve ser: Orientado a assunto Integrado Não-volátil Variável com o tempo
Aplicação de Venda Produtos Clientes Estoque Análise de Vendas Histórico de Vendas Características Orientado a assunto DW
Características Integrado Integração Dados de um DW provém de diversas fontes Formato dos dados deve ser padronizado para uniformizar nomes, unidades de medida, etc. Produtos EUA (lb) Produtos BR (kg) Conversão DW gr
Não-Volátil Dados não são mais alterados depois de incluídos no DW Operações no DW Em um BD operacional é possível incluir, alterar e eliminar dados Já no DW é possível apenas incluir dados Características Não-volátil
BD Produtos DW Produtos * Os dados do DW são relativos a um determinado instante de tempo Características Variável com o tempo Produto Preço Caneta Azul 0,50 Lápis Preto 0,30 ... ... Produto Jan/08 Fev/08 Mar/08 Caneta Azul 0,40 0,45 0,50 Lápis Preto 0,25 0,28 0,30 ... ... ... ...
Vantagens Acesse as informações rapidamente Evolua os dados para indicadores de desempenho significativos Preveja quais clientes têm maior probabilidade de te abandonarem e dê a eles incentivo para ficarem Identifique tendências de clientes ou padrões antes dos seus concorrentes Meça e monitore as atividades comerciais de sua Empresa precisamente
Com base nas informações coletadas da análise dos dados você pode identificar oportunidades para: Campanha de marketing Personalização de produtos Acompanhamento do desempenho Preços promocionais Alianças com concorrentes (...) dentre outras.
A solução de Data Warehouse pode ajudar você a compreender mais a fundo seu negócio e seus clientes para poder manter o foco em: Seus clientes mais lucrativos, otimizando o desempenho financeiro Intervalos de produtos e oportunidades para ganhar lucratividade Tendências para ganhar uma margem competitiva Comportamento de seus clientes para promover de forma rápida e eficaz planos personalizados
Desvantagens O processo de análise dos dados existentes, análises de regras de negócio , dentre outros é bastante custoso e demorado. Com isso, o projeto não retornará resultado imediato Os gastos iniciais com hardware, infra-estrutura e formação da equipe são muito caros.
Tipos Baseado em Servidor Mainframe ou servidor local Virtual Reúne dados operacionais e dados históricos mantidos em um BD – não há um DW central Distribuído DW Global que reúne dados de vários outros DWs Baseado na WEB Reúne dados da Internet
Ferramentas Não se preocupe agora! O erro mais comum, quando uma Empresa decide construir um DW é começar o trabalho pela escolha das ferramentas de acesso, conhecidas também por componente  front end A ferramenta de extração dos dados é uma parte muito importante do projeto do DW, mas apenas uma pequena parcela de um conjunto bastante complexo de soluções de  hardware  e  software Depois de definido e projetado o escopo do projeto e depois de construído o repositório de dados, é que deve-se chegar às ferramentas de  front end  responsáveis pelo meio de campo entre as bases de dados e os usuários finais da área executiva. Elas não podem ser muito complexas porque não serão utilizadas por profissionais da área técnica
Conclusão Um projeto de Data Warehouse nunca termina! As fontes de dados mudam, as necessidades dos usuários também mudam, o número deles aumenta, as regras de mercado se alteram, os usuários demandarão mais informações, etc. Enfim, Data Warehousing não é um destino, e sim, uma viagem.
Obrigado pela atenção!!! Perguntas? Vinícius de Castro Amaral [email_address]

UCP - Projeto de Banco de Dados - Data Warehouse

  • 1.
    Data Warehouse Viníciusde Castro Amaral
  • 2.
    Conceito O queé? Sistema que armazena dados históricos usados no processo de tomada de decisão Integra os dados corporativos de uma Empresa em um único repositório Para que serve? Para criar uma visão única e centralizada dos dados que estavam dispersos em diversos BDs Permite que usuários finais executem consultas, gerem relatórios e façam análises
  • 3.
    Curiosidades Criado pelaIBM na década de 60 com o nome de Information Warehouse Relançado diversas vezes sem grande sucesso O nome Data Warehouse foi dado por William H. Inmon, considerado o pai desta tecnologia Tornou-se viável com o surgimento de novas tecnologias para armazenamento e processamento de uma enorme quantidade de dados
  • 4.
    Objetivo Transformar umabase de dados em formato OLTP para uma base de formato OLAP OLTP Online Transaction Processing Processamento de Transações OLAP Online Analytical Processing Processamento Analítico
  • 5.
    OLTP (Online TransactionProcessing) Processamento de Transações Processamentos que executam as operações do dia-a-dia da Empresa Processamento rápido e eficiente dos dados Ex: movimento bancário
  • 6.
    Início Saque (100,00)Depósito (700,00) Depósito (300,00) Fim Conta A Conta B Conta C Conta A = 500,00 Conta B = 200,00 Conta C = 100,00 Conta A = 400,00 Conta B = 900,00 Conta C = 400,00 Início Fim Exemplo de Processamento - Transação OLTP
  • 7.
    OLAP (Online AnalyticalProcessing) Processamento Analítico Processamentos que exigem a tomada de decisões Obtido através da análise de dados históricos sobre vendas, produções, cliente, etc Melhor recurso do qual uma empresa pode dispor para tomar decisões estratégicas
  • 8.
    Características De acordocom Inmon um Data Warehouse deve ser: Orientado a assunto Integrado Não-volátil Variável com o tempo
  • 9.
    Aplicação de VendaProdutos Clientes Estoque Análise de Vendas Histórico de Vendas Características Orientado a assunto DW
  • 10.
    Características Integrado IntegraçãoDados de um DW provém de diversas fontes Formato dos dados deve ser padronizado para uniformizar nomes, unidades de medida, etc. Produtos EUA (lb) Produtos BR (kg) Conversão DW gr
  • 11.
    Não-Volátil Dados nãosão mais alterados depois de incluídos no DW Operações no DW Em um BD operacional é possível incluir, alterar e eliminar dados Já no DW é possível apenas incluir dados Características Não-volátil
  • 12.
    BD Produtos DWProdutos * Os dados do DW são relativos a um determinado instante de tempo Características Variável com o tempo Produto Preço Caneta Azul 0,50 Lápis Preto 0,30 ... ... Produto Jan/08 Fev/08 Mar/08 Caneta Azul 0,40 0,45 0,50 Lápis Preto 0,25 0,28 0,30 ... ... ... ...
  • 13.
    Vantagens Acesse asinformações rapidamente Evolua os dados para indicadores de desempenho significativos Preveja quais clientes têm maior probabilidade de te abandonarem e dê a eles incentivo para ficarem Identifique tendências de clientes ou padrões antes dos seus concorrentes Meça e monitore as atividades comerciais de sua Empresa precisamente
  • 14.
    Com base nasinformações coletadas da análise dos dados você pode identificar oportunidades para: Campanha de marketing Personalização de produtos Acompanhamento do desempenho Preços promocionais Alianças com concorrentes (...) dentre outras.
  • 15.
    A solução deData Warehouse pode ajudar você a compreender mais a fundo seu negócio e seus clientes para poder manter o foco em: Seus clientes mais lucrativos, otimizando o desempenho financeiro Intervalos de produtos e oportunidades para ganhar lucratividade Tendências para ganhar uma margem competitiva Comportamento de seus clientes para promover de forma rápida e eficaz planos personalizados
  • 16.
    Desvantagens O processode análise dos dados existentes, análises de regras de negócio , dentre outros é bastante custoso e demorado. Com isso, o projeto não retornará resultado imediato Os gastos iniciais com hardware, infra-estrutura e formação da equipe são muito caros.
  • 17.
    Tipos Baseado emServidor Mainframe ou servidor local Virtual Reúne dados operacionais e dados históricos mantidos em um BD – não há um DW central Distribuído DW Global que reúne dados de vários outros DWs Baseado na WEB Reúne dados da Internet
  • 18.
    Ferramentas Não sepreocupe agora! O erro mais comum, quando uma Empresa decide construir um DW é começar o trabalho pela escolha das ferramentas de acesso, conhecidas também por componente front end A ferramenta de extração dos dados é uma parte muito importante do projeto do DW, mas apenas uma pequena parcela de um conjunto bastante complexo de soluções de hardware e software Depois de definido e projetado o escopo do projeto e depois de construído o repositório de dados, é que deve-se chegar às ferramentas de front end responsáveis pelo meio de campo entre as bases de dados e os usuários finais da área executiva. Elas não podem ser muito complexas porque não serão utilizadas por profissionais da área técnica
  • 19.
    Conclusão Um projetode Data Warehouse nunca termina! As fontes de dados mudam, as necessidades dos usuários também mudam, o número deles aumenta, as regras de mercado se alteram, os usuários demandarão mais informações, etc. Enfim, Data Warehousing não é um destino, e sim, uma viagem.
  • 20.
    Obrigado pela atenção!!!Perguntas? Vinícius de Castro Amaral [email_address]