UNIVERSIDADE DO ESTADO DO AMAPÁ
ENGENHARIA DE PRODUÇÃO
ACADÊMICOS: JADDY OLIVEIRA; JEORGE SILVA; LUAN FELIPE;
MARLUCIA SANTOS; ROSINALDO MONTEIRO
DEFINIÇÃO
Data Warehouse (DW) pode ser definido
como uma coleção de dados, orientados por
assunto, integrados, variáveis com o tempo e
não voláteis, para dar suporte ao processo de
tomada de decisão.
OBJETIVOS
Criar uma visão única e centralizada dos
dados que estavam dispersos em diversos
Bancos de Dados;
Permitir que usuários finais executem
consultas, gerem relatórios e façam análises.
Permitir um maior desempenho e menor
custo de espaço para o armazenamento de
dados.
Extract-Transform-Load (ETL)
Uma das características de um DW é que
antes dos dados serem armazenados eles
passam por um processo de extração, tradução,
filtragem e integração com os dados relevantes
já contidos no DW.
Extrair dados das mais diversas fontes de
dados, garantir a qualidade de dados e padrões
de consistência, traduzir dados de forma que
fontes distintas possam ser usadas juntas, e
finalmente a entrega de dados em um formato
de apresentação pronto de forma que
desenvolvedores de aplicação possam construir
aplicativos aos usuários finais encarregados de
tomar decisões (KIMBALL e CASERTA, 2004) .
PRINCIPAIS CARACTERÍSTICAS
 Orientado por assunto;
 Integrado;
Variável no tempo;
 Não volátil.
Orientado por assunto:
O DW está orientado em torno do
principal assunto da organização,
armazenando informações agrupadas por
assuntos de interesse da empresa que são
considerados mais importantes, sendo estes
chamados de processos de negócio de um
empreendimento.
 Integrado:
Num DW os dados devem ser transformados
em formatos comuns de medida referência e
armazenamento para que possam ser
aproveitados.
Por exemplo, considere-se sexo como um
elemento de dado. Uma aplicação pode codificar
sexo como M/F, outra como 1/0 e uma terceira
como H/M. Assim, conforme os dados são trazidos
para o DW, eles serão convertidos para um estado
uniforme.
Variável no tempo:
Os dados de um DW são precisos em
relação ao tempo e representam resultados
operacionais do momento em que foram
capturados. A cada mudança, uma nova
entrada é criada, ou seja, os dados não são
atualizáveis.
 Não volátil:
Após serem integrados e transformados,
os dados são carregados em bloco para o DW,
para que estejam disponíveis aos usuários para
acesso, possibilitando realizar apenas consultas
e geração de relatórios necessários à tomada
de decisão, não permitindo, portanto
atualizações nos mesmos.
BD OPERACIONAL DATA WAREHOUSE
USUÁRIOS Funcionários Alta Administração
UTILIZAÇÃO Tarefas cotidianas Decisões estratégicas
PADRÃO DE USO Previsível Difícil de prever
PRINCÍPIOS DE
FUNCIONAMENTO
Com base em
transações
Com base em análise
de dados
VALORES DOS
DADOS
Valores atuais e
voláteis
Valores históricos e
imutáveis
DETALHAMENTO Alto Sumarizado
ORNIGANIZAÇÃO
DOS DADOS
Orientado a
aplicações
Orientado a assunto
BD OPERACIONAL X DW
PRINCIPAL FERRAMENTA
 OLAP- Online Analytical Processing (Processo
Analítico emTempo Real)
Sistema de armazenamento de dados agregados
com capacidade para manipular e analisar um grande
volume de dados sob múltiplas perspectivas. As
aplicações OLAP são usadas pelos gestores em
qualquer nível da organização, permitindo análises
comparativas que facilitam a tomada de decisões
diárias.
 Benefícios do OLAP
Fornece às organizações um método de
acessar, visualizar e analisar os dados
corporativos com alta flexibilidade e
desempenho.
Dessa forma, usuários finais podem
rapidamente analisar inúmeros cenários, gerar
relatórios, e descobrir tendências e fatos
relevantes, independentemente do tamanho,
complexidade e fonte dos dados corporativos.
 Modelo de dados OLAP
A informação é conceitualmente organizada
em cubos que armazenam valores quantitativos
ou medidas. As medidas são identificadas por
duas ou mais dimensões (categorias descritivas)
que formam a estrutura de um cubo (Data
Marts). Uma dimensão pode ser qualquer visão
do negócio que faça sentido para sua análise,
como produto, departamento , região ou tempo.
 Aplicações do OLAP
Finanças
Análise de L&P, Relatórios L&P, Orçamento, Análise de
Balanço, Fluxo de Caixa, Contas a Receber.
Vendas
Análise de vendas (por região, produto, vendedor, etc.),
Previsões, Lucratividade de Cliente/Contrato, Análise de
Canais de Distribuição.
Marketing
Análise de Preço/Volume, Lucratividade de Produto, Análise
de Mercados.
Recursos
Humanos
Análise de Benefícios, Projeção de Salários, Análise de
"Headcount".
Manufatura
Gerência de Estoque, Cadeia de Fornecimento,
Planejamento de Demanda, Análise de custos de matéria-
prima.
FASES DE IMPLEMENTAÇÃO DE UM DW
 1ª - Definição da Infraestrutura: o BD projetado deverá
suportar o alto crescimento de dados, consultas
complexas e não previstas, diversidade de integração,
diferentes tipos de tecnologias etc.
 2ª - Levantamento dos dados: Identificação dos dados
que deverão ser extraídos dos sistemas transacionais.
Em seguida, estes serão integrados e testados para que
se verifique se há distorções neles.
 3ª - Modelagem: Iniciação da modelagem para
armazenamento no DW.
 4ª - Extração de dados: extração de dados dos sistemas
transacionais no formato adequado para importação no
DW.
 5ª - Modelagem multidimensional: onde serão
desenvolvidos os cubos, definindo as visões
multidimensionais nas ferramentas OLAP.
 6ª - Análise dos resultados: o analista de suporte a
decisão com o apoio do arquiteto do DW, poderão
identificar falhas no processo de extração, validando ou
não as informações contidas no DW.
 7ª - Visões pré-definidas: disponibilização de visões
direcionadas e, frequentemente, extraídas do DW,
através de relatórios.
 8ª - Segurança da informação: trata de quem
pode, quem deve, como pode e por onde as
informações devem ser consultadas.
 9ª - Administração: estará voltada para o banco de
dados, verificando a integridade, o desempenho e o
volume de dados. Deve-se ter atenção especial para
os cubos, das ferramentas OLAP.
APLICAÇÕES DE UM DW
 US West – empresa americana com sede em Denver
(EUA), provedora de serviços de telecomunicações.
Em meados da dec. de 90, implantou um DW, para
facilitar o acesso dos funcionários.
 Sears Roebuck and Company - maior rede de lojas
de departamentos dos EUA. Criou um DW para
armazenar os dados provenientes das vendas,
substituindo os seus 18 BDs que continham muitos
dados redundantes, obsoletos e até contraditórios.
DEFINIÇÃO
É um conjunto de técnicas de estatística e
inteligência artificial aplicadas à análise de
grandes volumes de dados, para dar subsídio à
tomada de decisões.
OBJETIVOS
O objetivo principal do Data Mining (DM) é
extrair as informações valiosas contidas nos
dados, ou seja, fazer uma “mineração de
dados”.
PRINCIPAIS CARACTERÍSTICAS
Estatística Clássica: É a base da maioria das
tecnologias a partir da qual o DM é
construído.
Inteligência Artificial (IA): Tenta imitar a
maneira como o homem pensa na resolução
dos problemas estatísticos.
Machine Learning: Tenta fazer com que os
programas de computador “aprendam” com
os dados que eles estudam.
PRINCIPAIS FERRAMENTAS
 Redes neurais: Sistemas computacionais
baseados numa aproximação à computação
baseada em ligações.
 Indução de regras: Refere-se à detecção de
tendências dentro de grupos de dados, ou de
“regras” sobre o dado.
 Árvores de decisão: Baseiam-se numa análise
que trabalha testando automaticamente todos
os valores do dado.
 Análise de séries temporais: Interpreta os
resultados dos modelos de forma especializada.
 Visualização: Mapeia o dado sendo minerado
de acordo com dimensões especificadas.
FASES DE IMPLEMENTAÇÃO DE UM DM
 1ª - Entendimento do negócio: Tem por
objetivo identificar as metas e requerimentos e
então convertê-las para uma aplicação de DM.
 2ª - Entendimento dos dados: Extração de uma
amostra dos dados e avaliação do ambiente em
que os mesmos se encontram.
 3ª - Preparação dos dados: Criação de
programas de extração, limpeza e
transformação dos dados.
FASES DE IMPLEMENTAÇÃO DE UM DM
 4ª - Modelagem: Seleção do algoritmo a ser
utilizado e efetivo processamento do modelo.
 5ª - Avaliação do modelo: Avaliação de vários
modelos pelo analista responsável.
 6ª - Publicação: Criação e validação do modelo.
APLICAÇÕES DE UM DM
 Para Assistência Médica;
 Em Ciência eTecnologia;
 Para o Poder Judiciário;
 Para Bancos deVarejo.
Disponível em: <http://tecnologiae-e-negocios-thiagoreis.blogspot.com.br/2010/04/data-wa rehouse-e-data-mining.html>
Acesso em: 08/06/2014.
Disponível em: <www.geocities.ws/ldaguia/aulas/TI/Aula21_22.doc> Acesso em: 12/06/2014.
Disponível em: <http://www.dct.ufms.br/~mzanusso/Data_Mining> Acesso em: 12/06/2014.
Disponível em: <http://www.cce.puc-rio.br/sitecce/website/website.dll/folder_curso?nCurso= data-mining> Acesso em:
12/06/2014.
Disponível em: <http://www.knbs.com.br/data.htm>Acesso em: 12/06/2014.
Disponível em: <http://portogente.com.br/portopedia/datamining-73758> Acesso em: 12/06/2014.
Disponível em: <www.tiselvagem.com.br/geral/caracteristicas-de-um-data-warehouse/> Acesso em: 15/06/2014.
Disponível em: <http://www.coladaweb.com/informatica/data-warehouse> Acesso em: 15/06/2014.
REIS, Thiago. Data Warehouse e Data Mining. Disponível em: <http://tecnologiae-e-negocios-
thiagoreis.blogspot.com.br/2010/04/data-warehouse-e-data-mining.html> Acesso em: 10/06/2014.
Disponível em: < http://www.devmedia.com.br/a-tecnologia-de-data-warehouse-nas-organizacoes/ 5939#ixzz35HW 7ph83 >
Acesso em: 20/06/2014.
Disponível em: < http://www.scribd.com/doc/8504866/Metodologia-para-Implantacao-de-Data-Warehouse> > Acesso em:
26/06/2014.

Data Mining e Data Warehouse

  • 1.
    UNIVERSIDADE DO ESTADODO AMAPÁ ENGENHARIA DE PRODUÇÃO ACADÊMICOS: JADDY OLIVEIRA; JEORGE SILVA; LUAN FELIPE; MARLUCIA SANTOS; ROSINALDO MONTEIRO
  • 2.
    DEFINIÇÃO Data Warehouse (DW)pode ser definido como uma coleção de dados, orientados por assunto, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão.
  • 3.
    OBJETIVOS Criar uma visãoúnica e centralizada dos dados que estavam dispersos em diversos Bancos de Dados; Permitir que usuários finais executem consultas, gerem relatórios e façam análises. Permitir um maior desempenho e menor custo de espaço para o armazenamento de dados.
  • 4.
    Extract-Transform-Load (ETL) Uma dascaracterísticas de um DW é que antes dos dados serem armazenados eles passam por um processo de extração, tradução, filtragem e integração com os dados relevantes já contidos no DW.
  • 5.
    Extrair dados dasmais diversas fontes de dados, garantir a qualidade de dados e padrões de consistência, traduzir dados de forma que fontes distintas possam ser usadas juntas, e finalmente a entrega de dados em um formato de apresentação pronto de forma que desenvolvedores de aplicação possam construir aplicativos aos usuários finais encarregados de tomar decisões (KIMBALL e CASERTA, 2004) .
  • 6.
    PRINCIPAIS CARACTERÍSTICAS  Orientadopor assunto;  Integrado; Variável no tempo;  Não volátil.
  • 7.
    Orientado por assunto: ODW está orientado em torno do principal assunto da organização, armazenando informações agrupadas por assuntos de interesse da empresa que são considerados mais importantes, sendo estes chamados de processos de negócio de um empreendimento.
  • 8.
     Integrado: Num DWos dados devem ser transformados em formatos comuns de medida referência e armazenamento para que possam ser aproveitados. Por exemplo, considere-se sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. Assim, conforme os dados são trazidos para o DW, eles serão convertidos para um estado uniforme.
  • 9.
    Variável no tempo: Osdados de um DW são precisos em relação ao tempo e representam resultados operacionais do momento em que foram capturados. A cada mudança, uma nova entrada é criada, ou seja, os dados não são atualizáveis.
  • 10.
     Não volátil: Apósserem integrados e transformados, os dados são carregados em bloco para o DW, para que estejam disponíveis aos usuários para acesso, possibilitando realizar apenas consultas e geração de relatórios necessários à tomada de decisão, não permitindo, portanto atualizações nos mesmos.
  • 11.
    BD OPERACIONAL DATAWAREHOUSE USUÁRIOS Funcionários Alta Administração UTILIZAÇÃO Tarefas cotidianas Decisões estratégicas PADRÃO DE USO Previsível Difícil de prever PRINCÍPIOS DE FUNCIONAMENTO Com base em transações Com base em análise de dados VALORES DOS DADOS Valores atuais e voláteis Valores históricos e imutáveis DETALHAMENTO Alto Sumarizado ORNIGANIZAÇÃO DOS DADOS Orientado a aplicações Orientado a assunto BD OPERACIONAL X DW
  • 12.
    PRINCIPAL FERRAMENTA  OLAP-Online Analytical Processing (Processo Analítico emTempo Real) Sistema de armazenamento de dados agregados com capacidade para manipular e analisar um grande volume de dados sob múltiplas perspectivas. As aplicações OLAP são usadas pelos gestores em qualquer nível da organização, permitindo análises comparativas que facilitam a tomada de decisões diárias.
  • 13.
     Benefícios doOLAP Fornece às organizações um método de acessar, visualizar e analisar os dados corporativos com alta flexibilidade e desempenho. Dessa forma, usuários finais podem rapidamente analisar inúmeros cenários, gerar relatórios, e descobrir tendências e fatos relevantes, independentemente do tamanho, complexidade e fonte dos dados corporativos.
  • 14.
     Modelo dedados OLAP A informação é conceitualmente organizada em cubos que armazenam valores quantitativos ou medidas. As medidas são identificadas por duas ou mais dimensões (categorias descritivas) que formam a estrutura de um cubo (Data Marts). Uma dimensão pode ser qualquer visão do negócio que faça sentido para sua análise, como produto, departamento , região ou tempo.
  • 15.
     Aplicações doOLAP Finanças Análise de L&P, Relatórios L&P, Orçamento, Análise de Balanço, Fluxo de Caixa, Contas a Receber. Vendas Análise de vendas (por região, produto, vendedor, etc.), Previsões, Lucratividade de Cliente/Contrato, Análise de Canais de Distribuição. Marketing Análise de Preço/Volume, Lucratividade de Produto, Análise de Mercados. Recursos Humanos Análise de Benefícios, Projeção de Salários, Análise de "Headcount". Manufatura Gerência de Estoque, Cadeia de Fornecimento, Planejamento de Demanda, Análise de custos de matéria- prima.
  • 16.
    FASES DE IMPLEMENTAÇÃODE UM DW  1ª - Definição da Infraestrutura: o BD projetado deverá suportar o alto crescimento de dados, consultas complexas e não previstas, diversidade de integração, diferentes tipos de tecnologias etc.  2ª - Levantamento dos dados: Identificação dos dados que deverão ser extraídos dos sistemas transacionais. Em seguida, estes serão integrados e testados para que se verifique se há distorções neles.
  • 17.
     3ª -Modelagem: Iniciação da modelagem para armazenamento no DW.  4ª - Extração de dados: extração de dados dos sistemas transacionais no formato adequado para importação no DW.  5ª - Modelagem multidimensional: onde serão desenvolvidos os cubos, definindo as visões multidimensionais nas ferramentas OLAP.  6ª - Análise dos resultados: o analista de suporte a decisão com o apoio do arquiteto do DW, poderão identificar falhas no processo de extração, validando ou não as informações contidas no DW.
  • 18.
     7ª -Visões pré-definidas: disponibilização de visões direcionadas e, frequentemente, extraídas do DW, através de relatórios.  8ª - Segurança da informação: trata de quem pode, quem deve, como pode e por onde as informações devem ser consultadas.  9ª - Administração: estará voltada para o banco de dados, verificando a integridade, o desempenho e o volume de dados. Deve-se ter atenção especial para os cubos, das ferramentas OLAP.
  • 19.
    APLICAÇÕES DE UMDW  US West – empresa americana com sede em Denver (EUA), provedora de serviços de telecomunicações. Em meados da dec. de 90, implantou um DW, para facilitar o acesso dos funcionários.  Sears Roebuck and Company - maior rede de lojas de departamentos dos EUA. Criou um DW para armazenar os dados provenientes das vendas, substituindo os seus 18 BDs que continham muitos dados redundantes, obsoletos e até contraditórios.
  • 20.
    DEFINIÇÃO É um conjuntode técnicas de estatística e inteligência artificial aplicadas à análise de grandes volumes de dados, para dar subsídio à tomada de decisões.
  • 21.
    OBJETIVOS O objetivo principaldo Data Mining (DM) é extrair as informações valiosas contidas nos dados, ou seja, fazer uma “mineração de dados”.
  • 22.
    PRINCIPAIS CARACTERÍSTICAS Estatística Clássica:É a base da maioria das tecnologias a partir da qual o DM é construído. Inteligência Artificial (IA): Tenta imitar a maneira como o homem pensa na resolução dos problemas estatísticos. Machine Learning: Tenta fazer com que os programas de computador “aprendam” com os dados que eles estudam.
  • 23.
    PRINCIPAIS FERRAMENTAS  Redesneurais: Sistemas computacionais baseados numa aproximação à computação baseada em ligações.  Indução de regras: Refere-se à detecção de tendências dentro de grupos de dados, ou de “regras” sobre o dado.
  • 24.
     Árvores dedecisão: Baseiam-se numa análise que trabalha testando automaticamente todos os valores do dado.  Análise de séries temporais: Interpreta os resultados dos modelos de forma especializada.  Visualização: Mapeia o dado sendo minerado de acordo com dimensões especificadas.
  • 25.
    FASES DE IMPLEMENTAÇÃODE UM DM  1ª - Entendimento do negócio: Tem por objetivo identificar as metas e requerimentos e então convertê-las para uma aplicação de DM.  2ª - Entendimento dos dados: Extração de uma amostra dos dados e avaliação do ambiente em que os mesmos se encontram.  3ª - Preparação dos dados: Criação de programas de extração, limpeza e transformação dos dados.
  • 26.
    FASES DE IMPLEMENTAÇÃODE UM DM  4ª - Modelagem: Seleção do algoritmo a ser utilizado e efetivo processamento do modelo.  5ª - Avaliação do modelo: Avaliação de vários modelos pelo analista responsável.  6ª - Publicação: Criação e validação do modelo.
  • 27.
    APLICAÇÕES DE UMDM  Para Assistência Médica;  Em Ciência eTecnologia;  Para o Poder Judiciário;  Para Bancos deVarejo.
  • 28.
    Disponível em: <http://tecnologiae-e-negocios-thiagoreis.blogspot.com.br/2010/04/data-warehouse-e-data-mining.html> Acesso em: 08/06/2014. Disponível em: <www.geocities.ws/ldaguia/aulas/TI/Aula21_22.doc> Acesso em: 12/06/2014. Disponível em: <http://www.dct.ufms.br/~mzanusso/Data_Mining> Acesso em: 12/06/2014. Disponível em: <http://www.cce.puc-rio.br/sitecce/website/website.dll/folder_curso?nCurso= data-mining> Acesso em: 12/06/2014. Disponível em: <http://www.knbs.com.br/data.htm>Acesso em: 12/06/2014. Disponível em: <http://portogente.com.br/portopedia/datamining-73758> Acesso em: 12/06/2014. Disponível em: <www.tiselvagem.com.br/geral/caracteristicas-de-um-data-warehouse/> Acesso em: 15/06/2014. Disponível em: <http://www.coladaweb.com/informatica/data-warehouse> Acesso em: 15/06/2014. REIS, Thiago. Data Warehouse e Data Mining. Disponível em: <http://tecnologiae-e-negocios- thiagoreis.blogspot.com.br/2010/04/data-warehouse-e-data-mining.html> Acesso em: 10/06/2014. Disponível em: < http://www.devmedia.com.br/a-tecnologia-de-data-warehouse-nas-organizacoes/ 5939#ixzz35HW 7ph83 > Acesso em: 20/06/2014. Disponível em: < http://www.scribd.com/doc/8504866/Metodologia-para-Implantacao-de-Data-Warehouse> > Acesso em: 26/06/2014.