Data warehouse

Sistemas de Informação
    Professora Clara Gusmão
Técnico de Informática de Gestão
     Rui Pedro Alves Gomes
              11ºE
   Arquitectura da Data Warehouse
   Extracção de dados
   Ferramentas
   Exemplo
 O armazenamento dá-se num depósito único, convém que este
  seja prático para que possa ser acedido de uma forma
  rápida. Este armazenamento irá conter dados históricos de
  bancos de dados que servem como backup de sistemas
  empresariais.
 Quanto mais dados do histórico das operações da empresa,
  melhor será para que a análise destas informações ajudem a
  revelar o desempenho actual da empresa .
 Os sistemas de base de dados tradicionais utilizam a
  simplicidade no formato de dados para garantir a
  consistência destes e também para a maior organização de
  espaço de armazenamento necessário e diminuição de
  redundâncias, que devem ser verificadas antes da conclusão
  do modelo de dados.
 Uma data warehouse utiliza dados em formato de-
  normalizados. Isto aumenta o desempenho das consultas ou
  seja o processo torna-se mais intuitivo para os utilizadores
  comuns. Essa maneira de reordenar os dados chama -
  se Modelagem Dimensional, e o resultado da modelagem é o
  Modelo Dimensional, ou MD.
 O conceito Metadado é considerado como sendo os "dados
  sobre dados", isto é, os dados sobre os sistemas que operam
  com estes dados. Um repositório de metadados é uma
  ferramenta essencial para o gerenciamento de uma data
  warehouse. Entre outras coisas, um repositório de metadados
  bem construído deve conter informações sobre a origem dos
  dados, regras de transformação, nomes e alias, formatos de
  dados, etc. Ou seja, esse "dicionário" deve conter muito mais
  do que as descrições de colunas e tabelas: deve conter
  informações que adicionem valor aos dados.
 O data warehouse é normalmente acedido através de data
  marts, que são pontos específicos de acesso a subconjuntos
  do data warehouse. Os data marts são construídos para
  responder prováveis perguntas de um tipo específico de
  utilizador. Um data mart pode ser composto por um ou mais
  cubos de dados.
 Hoje em dia, os conceitos de data warehouse e data mart
  fazem parte de um conceito muito maior chamado
  de Corporate Performance Management.
 Os dados introduzidos num data warehouse geralmente
  passam por uma área conhecida como área de stage. O stage
  de dados ocorre quando existem processos periódicos de
  leitura de dados de fontes como sistemas OLTP. Os dados
  podem passar então por um processo de qualidade, de
  normalização e gravação dos dados no data warehouse. Esse
  processo geralmente é realizado por ferramentas ETL e outras
  ferramentas.
Sistemas OLTP são sistemas que têm a tarefa de monitorar e processar as
funções básicas de uma organização, tais como processamento da folha de
pagamento, factura, stock, etc.
Os dados OLTP são usados pelos utilizadores em geral no dia-a-dia nas suas
actividades.
O principal objectivo da modelagem relacional em um sistema OLTP é
eliminar ao máximo a redundância, para que promova mudanças no estado
do banco de dados o mais pontualmente possível. Com isso, nas
metodologias de projeto usuais, os dados são fragmentados por diversas
tabelas, o que traz uma considerável complexidade à formulação de uma
consulta por um utilizador final. Por isso, esta abordagem não parece ser a
mais adequada para o projeto de um data warehouse, onde estruturas mais
simples, com menor grau de normalização devem ser investigadas.
As ferramentas OLAP são geralmente desenvolvidas para trabalhar
com banco de dados de-normalizados, embora existam ferramentas que
trabalham com esquemas especiais de armazenamento, com dados
normalizados.
Essas ferramentas são capazes de navegar pelos dados de um Data
Warehouse possuindo uma estrutura adequada tanto para a realização de
pesquisas como para a apresentação de informações.
Nas ferramentas de navegação OLAP, é possível navegar entre diferentes
níveis de um cubo de dados. Através de um processo chamado Drill o
usuário pode aumentar (Drill down[) ou diminuir (Drill up) o nível de
detalhamento dos dados. Por exemplo, se um relatório estiver consolidado
por países, fazendo um Drill down[, os dados passarão a ser apresentados
por estados, cidades, bairros e assim sucessivamente até o maior nível de
detalhamento possível. O processo contrário, o Drill up, faz com que os
dados sejam consolidados em níveis superiores de informação.
Outra possibilidade apresentada pela maioria das ferramentas de
navegação OLAP é o recurso chamado Slice and dice. Esse recurso é usado
para criar visões dos dados por meio de sua reorganização, de forma que
eles possam ser examinados sob diferentes perspectivas.
O uso de recursos para manipular, formatar e apresentar os dados de modo
rápido e flexível é um dos pontos fortes de um Data Warehouse. Essa
característica faz com que a apresentação de relatórios no ecrã seja mais
comum do que imprimi-los. Além disso, o utilizador tem a liberdade para
examinar as informações que quiser de diversas maneiras e, no final, pode
imprimir e até mesmo salvar as visões mais importantes para uma futura
consulta.
Data mining, ou mineração de dados, é o processo de descoberta de padrões
existentes em grandes massas de dados. Apesar de existirem ferramentas
que ajudam na execução do processo, o Data Mining precisa ser conduzido
por uma pessoa, preferencialmente com formação em Estatística ou áreas
afins.
1 de 11

Recomendados

Data warehousing por
Data warehousingData warehousing
Data warehousingacistec
2.5K visualizações9 slides
Sistemas de Gestão de Bases de Dados por
Sistemas de Gestão de Bases de DadosSistemas de Gestão de Bases de Dados
Sistemas de Gestão de Bases de DadosClara Ferreira
1.2K visualizações15 slides
Aula 1 introdução a base de dados por
Aula 1   introdução a base de dadosAula 1   introdução a base de dados
Aula 1 introdução a base de dadosHélio Martins
9K visualizações29 slides
UCP - Projeto de Banco de Dados - Data Warehouse por
UCP - Projeto de Banco de Dados - Data WarehouseUCP - Projeto de Banco de Dados - Data Warehouse
UCP - Projeto de Banco de Dados - Data WarehouseVinícius Amaral
1.8K visualizações20 slides
Data Warehouse por
Data WarehouseData Warehouse
Data WarehouseMenelik Soares
474 visualizações18 slides
Datawarehouse por
DatawarehouseDatawarehouse
DatawarehouseAlana Souza
2.9K visualizações44 slides

Mais conteúdo relacionado

Mais procurados

Aula 2 arquitecturas de sgbd, utilizadores, perfis por
Aula 2   arquitecturas de sgbd, utilizadores, perfisAula 2   arquitecturas de sgbd, utilizadores, perfis
Aula 2 arquitecturas de sgbd, utilizadores, perfisHélio Martins
1.3K visualizações17 slides
eduardo teste ubc por
eduardo teste ubceduardo teste ubc
eduardo teste ubcCarlos eduardo da silva coelho
397 visualizações23 slides
Matéria de apoio (Base de dados) por
Matéria de apoio  (Base de dados)Matéria de apoio  (Base de dados)
Matéria de apoio (Base de dados)André Silva
15.4K visualizações114 slides
Data Mart e Data Warehouse por
Data Mart e Data WarehouseData Mart e Data Warehouse
Data Mart e Data WarehouseFernando Peres
12.2K visualizações11 slides
SGBD por
SGBDSGBD
SGBDNelson Sousa
26.9K visualizações11 slides
Data warehousing - Técnicas e procedimentos por
Data warehousing - Técnicas e procedimentosData warehousing - Técnicas e procedimentos
Data warehousing - Técnicas e procedimentosMarcos Pessoa
1.8K visualizações51 slides

Mais procurados(20)

Aula 2 arquitecturas de sgbd, utilizadores, perfis por Hélio Martins
Aula 2   arquitecturas de sgbd, utilizadores, perfisAula 2   arquitecturas de sgbd, utilizadores, perfis
Aula 2 arquitecturas de sgbd, utilizadores, perfis
Hélio Martins1.3K visualizações
Matéria de apoio (Base de dados) por André Silva
Matéria de apoio  (Base de dados)Matéria de apoio  (Base de dados)
Matéria de apoio (Base de dados)
André Silva15.4K visualizações
Data Mart e Data Warehouse por Fernando Peres
Data Mart e Data WarehouseData Mart e Data Warehouse
Data Mart e Data Warehouse
Fernando Peres12.2K visualizações
SGBD por Nelson Sousa
SGBDSGBD
SGBD
Nelson Sousa26.9K visualizações
Data warehousing - Técnicas e procedimentos por Marcos Pessoa
Data warehousing - Técnicas e procedimentosData warehousing - Técnicas e procedimentos
Data warehousing - Técnicas e procedimentos
Marcos Pessoa1.8K visualizações
Introducao Base Dados I por guest3118b2
Introducao  Base  Dados  IIntroducao  Base  Dados  I
Introducao Base Dados I
guest3118b24.1K visualizações
Data Mining e Data Warehouse por JeorgeCarmona
Data Mining e Data WarehouseData Mining e Data Warehouse
Data Mining e Data Warehouse
JeorgeCarmona7K visualizações
Introdução ao Data Warehouse por Messias Batista
Introdução ao Data WarehouseIntrodução ao Data Warehouse
Introdução ao Data Warehouse
Messias Batista700 visualizações
38664419 artigo-data warehouse por diochel
38664419 artigo-data warehouse38664419 artigo-data warehouse
38664419 artigo-data warehouse
diochel3K visualizações
12 objetivos de banco de dados distribuídos por Bruno Felipe
12 objetivos de banco de dados distribuídos12 objetivos de banco de dados distribuídos
12 objetivos de banco de dados distribuídos
Bruno Felipe12K visualizações
Módulo 12 - Introdução aos sistemas de informação por Luis Ferreira
Módulo 12 - Introdução aos sistemas de informaçãoMódulo 12 - Introdução aos sistemas de informação
Módulo 12 - Introdução aos sistemas de informação
Luis Ferreira3.6K visualizações
Respostas exercício 1 bdi por Patty Muniz
Respostas exercício 1   bdiRespostas exercício 1   bdi
Respostas exercício 1 bdi
Patty Muniz9.7K visualizações
Aula1-Conceitos de SGBD por Cris Fidelix
Aula1-Conceitos de SGBDAula1-Conceitos de SGBD
Aula1-Conceitos de SGBD
Cris Fidelix2K visualizações
Data Warehouse por Thiago Oliveira
Data WarehouseData Warehouse
Data Warehouse
Thiago Oliveira7.6K visualizações
Erp Enterprise Resource Planning por vanessavdf
Erp Enterprise Resource PlanningErp Enterprise Resource Planning
Erp Enterprise Resource Planning
vanessavdf699 visualizações

Destaque

F/Radar - Edition 10 por
F/Radar - Edition 10F/Radar - Edition 10
F/Radar - Edition 10F/Nazca Saatchi & Saatchi
1.1K visualizações38 slides
F/Radar 8ª edição por
F/Radar 8ª ediçãoF/Radar 8ª edição
F/Radar 8ª ediçãoF/Nazca Saatchi & Saatchi
1.2K visualizações96 slides
Modelo dimensional071009 por
Modelo dimensional071009Modelo dimensional071009
Modelo dimensional071009Valldo
2.4K visualizações42 slides
Tipos De Modelagem P Dw por
Tipos De Modelagem P DwTipos De Modelagem P Dw
Tipos De Modelagem P DwWashington Bila Cox de Jesus
3.7K visualizações10 slides
Modelagem Dimensional por
Modelagem DimensionalModelagem Dimensional
Modelagem DimensionalMarco Garcia
5.5K visualizações21 slides
Data Warehouse - Modelagem por
Data Warehouse - ModelagemData Warehouse - Modelagem
Data Warehouse - ModelagemRudson Kiyoshi Souza Carvalho
9.6K visualizações31 slides

Destaque(6)

Similar a Data warehouse

Sistemas de Informação (SAD / OLAP) por
Sistemas de Informação (SAD / OLAP)Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)m4rkSpinelli
10.4K visualizações43 slides
Apostila Oracle 10g por
Apostila Oracle 10gApostila Oracle 10g
Apostila Oracle 10gAndre Nascimento
6.3K visualizações94 slides
Pg20235 rf20222vp20208 por
Pg20235 rf20222vp20208Pg20235 rf20222vp20208
Pg20235 rf20222vp20208rikardojsf
323 visualizações24 slides
OLAP, BI, EIS por
OLAP, BI, EISOLAP, BI, EIS
OLAP, BI, EISNetalva - Joel Alvarenga
3.2K visualizações44 slides
Artigo particionamento por
Artigo   particionamentoArtigo   particionamento
Artigo particionamentoPaulo Planez
15 visualizações13 slides
Data Warehouse por
Data WarehouseData Warehouse
Data WarehouseMaicon Silva
1.3K visualizações14 slides

Similar a Data warehouse(20)

Sistemas de Informação (SAD / OLAP) por m4rkSpinelli
Sistemas de Informação (SAD / OLAP)Sistemas de Informação (SAD / OLAP)
Sistemas de Informação (SAD / OLAP)
m4rkSpinelli10.4K visualizações
Apostila Oracle 10g por Andre Nascimento
Apostila Oracle 10gApostila Oracle 10g
Apostila Oracle 10g
Andre Nascimento6.3K visualizações
Pg20235 rf20222vp20208 por rikardojsf
Pg20235 rf20222vp20208Pg20235 rf20222vp20208
Pg20235 rf20222vp20208
rikardojsf323 visualizações
Artigo particionamento por Paulo Planez
Artigo   particionamentoArtigo   particionamento
Artigo particionamento
Paulo Planez15 visualizações
Data Warehouse por Maicon Silva
Data WarehouseData Warehouse
Data Warehouse
Maicon Silva1.3K visualizações
Oltp artigo 1 por kaze002
Oltp artigo 1Oltp artigo 1
Oltp artigo 1
kaze002666 visualizações
Sistemas por MCRL1964
SistemasSistemas
Sistemas
MCRL1964171 visualizações
Sistemas por MCRL1964
SistemasSistemas
Sistemas
MCRL1964211 visualizações
SIG - 4 por djokanice
SIG - 4SIG - 4
SIG - 4
djokanice367 visualizações
Olap (PROCESSAMENTO ANALÍTICO ONLINE) por EderPereira33
Olap (PROCESSAMENTO ANALÍTICO ONLINE)Olap (PROCESSAMENTO ANALÍTICO ONLINE)
Olap (PROCESSAMENTO ANALÍTICO ONLINE)
EderPereira3350 visualizações
Data warehouse & olap por Brian Supra
Data warehouse & olapData warehouse & olap
Data warehouse & olap
Brian Supra259 visualizações
Arquitetura e sgbd de um banco de dados por diogocbj
Arquitetura e sgbd de um banco de dadosArquitetura e sgbd de um banco de dados
Arquitetura e sgbd de um banco de dados
diogocbj15.1K visualizações
A03 paper - perfil business intelligence - a cadeia de processamento por Marcelo Krug
A03   paper - perfil business intelligence - a cadeia de processamentoA03   paper - perfil business intelligence - a cadeia de processamento
A03 paper - perfil business intelligence - a cadeia de processamento
Marcelo Krug71 visualizações
Aula tecnologia da informacao 6 banco de dados por wapiva
Aula tecnologia da informacao 6 banco de dadosAula tecnologia da informacao 6 banco de dados
Aula tecnologia da informacao 6 banco de dados
wapiva4.3K visualizações
BANCO DE DADOS RELACIONAIS por Antonio Pedro
BANCO DE DADOS RELACIONAIS BANCO DE DADOS RELACIONAIS
BANCO DE DADOS RELACIONAIS
Antonio Pedro4.1K visualizações
Material Modelagem - Prof. Marcos Alexandruk por Hebert Alquimim
Material Modelagem - Prof. Marcos AlexandrukMaterial Modelagem - Prof. Marcos Alexandruk
Material Modelagem - Prof. Marcos Alexandruk
Hebert Alquimim11.6K visualizações
Exploracao datawarehouse mineracao_de_dados_ou_olap por KlaytonAlves
Exploracao datawarehouse mineracao_de_dados_ou_olapExploracao datawarehouse mineracao_de_dados_ou_olap
Exploracao datawarehouse mineracao_de_dados_ou_olap
KlaytonAlves421 visualizações

Data warehouse

  • 1. Sistemas de Informação Professora Clara Gusmão Técnico de Informática de Gestão Rui Pedro Alves Gomes 11ºE
  • 2. Arquitectura da Data Warehouse  Extracção de dados  Ferramentas  Exemplo
  • 3.  O armazenamento dá-se num depósito único, convém que este seja prático para que possa ser acedido de uma forma rápida. Este armazenamento irá conter dados históricos de bancos de dados que servem como backup de sistemas empresariais.  Quanto mais dados do histórico das operações da empresa, melhor será para que a análise destas informações ajudem a revelar o desempenho actual da empresa .
  • 4.  Os sistemas de base de dados tradicionais utilizam a simplicidade no formato de dados para garantir a consistência destes e também para a maior organização de espaço de armazenamento necessário e diminuição de redundâncias, que devem ser verificadas antes da conclusão do modelo de dados.  Uma data warehouse utiliza dados em formato de- normalizados. Isto aumenta o desempenho das consultas ou seja o processo torna-se mais intuitivo para os utilizadores comuns. Essa maneira de reordenar os dados chama - se Modelagem Dimensional, e o resultado da modelagem é o Modelo Dimensional, ou MD.
  • 5.  O conceito Metadado é considerado como sendo os "dados sobre dados", isto é, os dados sobre os sistemas que operam com estes dados. Um repositório de metadados é uma ferramenta essencial para o gerenciamento de uma data warehouse. Entre outras coisas, um repositório de metadados bem construído deve conter informações sobre a origem dos dados, regras de transformação, nomes e alias, formatos de dados, etc. Ou seja, esse "dicionário" deve conter muito mais do que as descrições de colunas e tabelas: deve conter informações que adicionem valor aos dados.
  • 6.  O data warehouse é normalmente acedido através de data marts, que são pontos específicos de acesso a subconjuntos do data warehouse. Os data marts são construídos para responder prováveis perguntas de um tipo específico de utilizador. Um data mart pode ser composto por um ou mais cubos de dados.  Hoje em dia, os conceitos de data warehouse e data mart fazem parte de um conceito muito maior chamado de Corporate Performance Management.
  • 7.  Os dados introduzidos num data warehouse geralmente passam por uma área conhecida como área de stage. O stage de dados ocorre quando existem processos periódicos de leitura de dados de fontes como sistemas OLTP. Os dados podem passar então por um processo de qualidade, de normalização e gravação dos dados no data warehouse. Esse processo geralmente é realizado por ferramentas ETL e outras ferramentas.
  • 8. Sistemas OLTP são sistemas que têm a tarefa de monitorar e processar as funções básicas de uma organização, tais como processamento da folha de pagamento, factura, stock, etc. Os dados OLTP são usados pelos utilizadores em geral no dia-a-dia nas suas actividades. O principal objectivo da modelagem relacional em um sistema OLTP é eliminar ao máximo a redundância, para que promova mudanças no estado do banco de dados o mais pontualmente possível. Com isso, nas metodologias de projeto usuais, os dados são fragmentados por diversas tabelas, o que traz uma considerável complexidade à formulação de uma consulta por um utilizador final. Por isso, esta abordagem não parece ser a mais adequada para o projeto de um data warehouse, onde estruturas mais simples, com menor grau de normalização devem ser investigadas.
  • 9. As ferramentas OLAP são geralmente desenvolvidas para trabalhar com banco de dados de-normalizados, embora existam ferramentas que trabalham com esquemas especiais de armazenamento, com dados normalizados. Essas ferramentas são capazes de navegar pelos dados de um Data Warehouse possuindo uma estrutura adequada tanto para a realização de pesquisas como para a apresentação de informações. Nas ferramentas de navegação OLAP, é possível navegar entre diferentes níveis de um cubo de dados. Através de um processo chamado Drill o usuário pode aumentar (Drill down[) ou diminuir (Drill up) o nível de detalhamento dos dados. Por exemplo, se um relatório estiver consolidado por países, fazendo um Drill down[, os dados passarão a ser apresentados por estados, cidades, bairros e assim sucessivamente até o maior nível de detalhamento possível. O processo contrário, o Drill up, faz com que os dados sejam consolidados em níveis superiores de informação.
  • 10. Outra possibilidade apresentada pela maioria das ferramentas de navegação OLAP é o recurso chamado Slice and dice. Esse recurso é usado para criar visões dos dados por meio de sua reorganização, de forma que eles possam ser examinados sob diferentes perspectivas. O uso de recursos para manipular, formatar e apresentar os dados de modo rápido e flexível é um dos pontos fortes de um Data Warehouse. Essa característica faz com que a apresentação de relatórios no ecrã seja mais comum do que imprimi-los. Além disso, o utilizador tem a liberdade para examinar as informações que quiser de diversas maneiras e, no final, pode imprimir e até mesmo salvar as visões mais importantes para uma futura consulta.
  • 11. Data mining, ou mineração de dados, é o processo de descoberta de padrões existentes em grandes massas de dados. Apesar de existirem ferramentas que ajudam na execução do processo, o Data Mining precisa ser conduzido por uma pessoa, preferencialmente com formação em Estatística ou áreas afins.