Este documento introduz os principais conceitos de Business Intelligence (BI), incluindo: (1) O que é BI e como envolve dados armazenados em data warehouses e data marts; (2) Características e propósitos de data warehouses e data marts; (3) Abordagens top-down e bottom-up para implementar data warehouses.

1. BUSINESS INTELLIGENCE: O que é e o que envolve este termo? Emerson henrique soares silva emerson.hss@gmail.com Introdução aos conceitos de Business Intelligence

2. Quem é este que vos fala? Aluno concluinte do curso de Ciência da Computação da ASPER Há 1 ano e 2 meses sou Analista e Desenvolvedor de Sistemas para Web da Ativasystems (Divisão de desenvolvimento de Software da Ativaweb) 2 Emerson Henrique S. Silva 10/12/2009

3. Agenda Introdução Business Intelligence (BI) Data Warehouse (DW) Data Mart (DM) Abordagens de implementação de DW Arquiteturas de DW Modelagem Dimensional OLAP OLAP x OLTP Data Mining Grupo(s) de Pesquisa Proposta de Projeto Inicial 3 Emerson Henrique S. Silva 10/12/2009

4. Introdução Era da Economia da Informação Empresa precisão mais do que operar, funcionar Precisam de conhecimento, sobre si e sobre os demais Precisam aprender com erros e acertos 4 Emerson Henrique S. Silva 10/12/2009

5. Introdução Sistemas de Informação e seus espaços de negócio Patamar conhecido Operacional Foco nas tarefas No realizar trabalho Busca por novos patamares: Gerencial Foco no planejamento Alocação de Recursos Orçamentos Estratégico Relacionada ao gerencial Intenções estratégicas Produtos/Serviços e seus benefícios para os clientes 5 Emerson Henrique S. Silva 10/12/2009

6. Introdução Patamar estratégico dos Sistemas de Informações dão apoio aos processos de tomadas de decisões nas organizações. O conceito de Business Intelligence (BI), ou Inteligência de Negócios, ganha espessura neste cenário. BI pode ser entendido como um guarda-chuva conceitual que envolve Inteligência Competitiva, ou CompetitiveIntelligence (CI), Gerência de Conhecimentos, ou knowledge Management System (KMS), Internet Business Intelligence (IBI), pesquisa e análise de mercados, etc. [BARBIERE, 2001] 6 Emerson Henrique S. Silva 10/12/2009

7. Business Intelligence(BI) “Business Intelligence representa a habilidade de se estruturar, acessar e explorar informações, normalmente guardadas em Data Warehouses e Data Marts, com o objetivo de desenvolver percepções, entendimentos, conhecimentos, os quais podem produzir um melhor processo de tomada de decisão”. (BARBIERE, 2001) Business Intelligence é um termo genérico para descrever o levantamento de informações sobre os ativos internos e externos da organização para tomar melhores decisões de negócios [KIMBALL e ROSS, 2002]. Para Moss e Atre (2003) o BI não é um produto, nem um sistema. É uma arquitetura e uma coleção de aplicações e bancos de dados com acesso facilitado aos dados e que provê suporte a tomada de decisão. 7 Emerson Henrique S. Silva 10/12/2009

8. Business Intelligence (BI) 8 Emerson Henrique S. Silva 10/12/2009

9. Data Warehouse (DW) Sobre Data Warehouse (DW) ou Armazéns de Dados, Machado (2007) afirma que representa uma grande base de dados capaz de integrar, de forma concisa e confiável, as informações de interesse para a empresa que se encontram espalhadas pelos sistemas operacionais e em fontes externas, para posterior utilização nos sistemas de apoio à decisão. Segundo Barbiere (2001), Data Warehouse pode ser definido como um banco de dados, destinado a sistemas de apoio a decisão e cujos dados foram armazenados em estruturas lógicas dimensionais, possibilitando o seu processamento analítico por ferramentas especiais (OLAP e Mining). 9 Emerson Henrique S. Silva 10/12/2009

10. Data Warehouse (DW) Características Segundo [INMON, 1997 apud ZORZIN, 2006], um DW é um conjunto de dados... orientados por assuntos, integrados, não voláteis, variáveis em relação ao tempo e que apóiam a tomada de decisões. 10 Emerson Henrique S. Silva 10/12/2009

11. Data Warehouse (DW) Pedido e nota fiscal são etapas do processo transacional de uma venda Vendas são assuntos de empresa de interesse estratégico Informações sobre quantidades vendidas, sobre lucros e observações de resultados de ações de marketing 11 Emerson Henrique S. Silva 10/12/2009

12. Data Warehouse (DW) O DW é alimentado por outras fontes de dados, que podem trazer dados representados de formas diferentes, mas que possuem o mesmo significado. Por este motivo os dados devem ser integrados e padronizados. 12 Emerson Henrique S. Silva 10/12/2009

13. Data Warehouse (DW) O DW só permite duas operações básicas: a inclusão inicial e incremental de novos dados e o acesso somente para leitura a estes dados, isto é, não existem alterações nem exclusões dos dados do DW, isso para evitar impasses e atualizações registro a registro. 13 Emerson Henrique S. Silva 10/12/2009

14. Data Warehouse (DW) Variáveis em relação ao Tempo O DW deve ser carregado periodicamente através de um processo batch (em lotes). E deve ser armazenada uma ou mais referências temporais sobre os dados carregados, de modo que seja possível verificar o histórico desses dados. O tempo é uma característica importante para tomada de decisões, por isso os dados do DW devem variar em relação a suas referências de tempo. 14 Emerson Henrique S. Silva 10/12/2009

15. Data Warehouse (DW) Dados que apóiam a tomada de decisões O DW é construído sobre um modelo multidimensional Centralizar os fatos pelas dimensões dos negócios Organização lógica dos negócios da organização sobre esse modelo permite um acesso facilitado de ferramentas para análise dos negócios, e o resultado dessas análises permitem visualizar cenários passados, atuais e possíveis da organização, gerando informações estratégicas que possibilitem a tomada de decisões de melhorias e evoluções. 15 Emerson Henrique S. Silva 10/12/2009

16. Data Mart(DM) Apresenta as mesmas características de um DW. É um subconjunto de um DW. Representa um DW departamental, regional ou funcional. Segundo Sing (2001) apudFelber (2005) uma empresa pode contruír uma séria de DM ao longo do tempo e vinculá-los a um DW lógico de empresa inteira. 16 Emerson Henrique S. Silva 10/12/2009

17. Data Mart(DM) São bem aceitos no mercado por: Apresentarem menor investimento em infra-estrutura Produzirem resultados mais rapidamente E por serem escaláveis até DWs 17 Emerson Henrique S. Silva 10/12/2009

18. Abordagens de Implementação de DW Inicialmente existiram (anos 1990) duas abordagens, cada uma apresentada por um guru da tecnologia de DW Bill Inmon Implementação top-down (do topo para a baixo) Ralph Kimball Implementação bottom-up (da base para cima) 18 Emerson Henrique S. Silva 10/12/2009

19. Abordagens de Implementação de DW Top-down Primeiro se construiria um DW para depois construir os DMs departamentais a partir do DW. 19 Emerson Henrique S. Silva 10/12/2009

20. Abordagens de Implementação de DW Top-down Vantagens Herança de arquitetura, consequentemente facilidade de manutenção Visão do empreendimento, DW concentra toda a empresa e seus negócios Controle e centralização de regras, único conjunto de aplicações para ETL Monitoração e manutenção centralizada Desvantagens Demora para entrar em produção Alto risco de investimento Demora no retorno do investimento 20 Emerson Henrique S. Silva 10/12/2009

21. Abordagens de Implementação de DW Bottom-up Primeiro se constroem os DMs separados que deverão ser integrados a medida que os mesmos evoluem, dando condições para a construção de um DW. 21 Emerson Henrique S. Silva 10/12/2009

22. Abordagens de Implementação de DW Bottom-up Vantagens Implementação mais rápida Retorno sobre o investimento é mais rápido A manutenção do enfoque da equipe é facilitada Pode existir uma herança incremental entre os DMs permitindo o reaproveitamento Desvantagens Os DMs produzidos podem não obter uma perfeita coesão Integração pode se tornar inviável Provável repetição de esforços na fase de ETL 22 Emerson Henrique S. Silva 10/12/2009

23. Abordagens de Implementação de DW Convergência das abordagens Melhor dos dois mundos Visualizar a empresa e seus negócios de forma integrada Construindo o DW de forma incremental, a partir de DMs Construção integrada Resultado repositório integrado e coeso Dimensões alinhadas e conformes, e métricas compatíveis 23 Emerson Henrique S. Silva 10/12/2009

24. Arquiteturas de DW Decisão gerencial em um projeto de DW Diretamente ligada a infra-estrutura física no aspecto da tecnologia da informação As arquiteturas podem ser: Global Centralizada Distribuída Data Marts independentes Data Marts integrados 24 Emerson Henrique S. Silva 10/12/2009

25. Arquiteturas de DW Visão corporativa dos dados pelos usuários Porém, consumo de tempo de desenvolvimento e administração do ambiente é muito grande, assim como o custo de implementação. 25 Emerson Henrique S. Silva 10/12/2009

26. Arquiteturas de DW 10/12/2009 Emerson Henrique S. Silva 26 Data Marts independentes DMs isolados por departamentos Sem foco corporativo Pouca interferência da TI Vantagem: Implementação Rápida, por conta do escopo reduzido e isolado Desvantagem: Capacidade de decisão através dos dados é limitada

27. Arquiteturas de DW 10/12/2009 Emerson Henrique S. Silva 27 Data Marts integrados DMs distribuídos em departamentos, como na anterior Dados interconectados, integrados e acessíveis a outras áreas ou departamentos da empresa Maior interferência da TI Vantagem: Aumenta a visão corporativa e a qualidade das informações Desvantagem: Maior complexidade dos requisitos Maior necessidade de controle e de administração

28. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 28 De acordo com Machado (2007) a modelagem multidimensional é uma técnica de concepção e visualização de um modelo de dados de um conjunto de medidas que descrevem aspectos comuns de negócios. E esse modelo é formado por três elementos básicos: os fatos as dimensões e as medidas (variáveis). O objetivo dessa modelagem é fornecer a capacidade de visualizar os dados de um organização, de modo a permitir a análise de valores desses dados, isto é, permitir obter informações de apoio a decisão.

29. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 29 Fatos Definem a importância e a motivação da modelagem dimensional Representam numericamente valores que refletem temporalmente a evolução dos negócios de uma organização É representado no modelo por uma tabela chamada tabela de Fatos Formados por dados de medidas e de contexto

30. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 30 Medidas Atributos numéricos que representam um fato, o desempenho de um indicador de negócios relativo as dimensões que participam do fato

31. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 31 Dimensões As dimensões determinam o contexto de um assunto de um fato de negócio Possui uma ou mais hierarquias naturais, além de atributos descritivos sem relacionamento hierárquico É representada por uma tabela que descreve uma característica de um fato Quando Onde Quem O quê

32. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 32 Dimensões Determinam “o como” se pode filtrar informações sobre os fatos Exemplo: Por lojas Por região Por mês Por produto Etc.

33. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 33 Esquemas propostos São 2 os esquemas propostos conhecidos Star Schema(Esquema Estrela) SnowflakeSchema (Esquema Floco de Neve)

34. Modelagem Dimensional Star Schema As tabelas de dimensões são diretamente relacionadas a uma tabela central chamada tabela de fatos Nesse modelo não há preocupação com economia de espaço de armazenamento Nem com normalização Respeita-se o preceito de informação rápida 34 Emerson Henrique S. Silva 10/12/2009

35. Modelagem Dimensional SnowflakesSchema Neste esquema as dimensões são normalizadas AS hierarquias são separadas Consultas envolverão mais tabelas diminuindo a performance 35 Emerson Henrique S. Silva 10/12/2009

36. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 36 Diferenças em relação a modelagem ER

37. Modelagem Dimensional 10/12/2009 Emerson Henrique S. Silva 37

38. OLAP 10/12/2009 Emerson Henrique S. Silva 38 Acrônimo para: OnLineAnalyticalProcessing Processamento Analítico OnLine São ferramentas que possibilitam a exploração dos dados de um DW [MACHADO, 2007] para fins de análise de determinadas variáveis para descoberta de cenários e tendências O objetivo é dar suporte ao processo de tomada de decisões

39. OLAP x OLTP 10/12/2009 Emerson Henrique S. Silva 39 OLTP é acrônimo para: OnLineTransactionProcessing Processamento de Transações OnLine Transações se referem diretamente as atividades operacionais de ume empresa Exemplo: Realizar pagamento aos empregados Realizar pagamento aos fornecedores Realizar vendas aos clientes Essas operações envolver um conjunto de atividades que juntas formam uma transação Os Sistemas de Informação com foco operacional são sistemas transacionais Diferentes dos sistemas OLAP com foco analítico dos dados

40. Data Mining 10/12/2009 Emerson Henrique S. Silva 40 Em português, Garimpagem ou Mineração de Dados O processo de Data Mining visa realizar inferências sobre os dados de um DW/DM, buscando “adivinhar” fatos e correlações não explicadas em meio a esses dados. Algoritmos inteligentes sobre um amostra dos dados visando detectar padrões em determinados relacionamentos. Segundo Moss e Atre (2003), a aplicação de mineração de dados pode então usar uma sofisticada mistura de componentes clássicos e avançados, como a inteligência artificial, reconhecimento de padrões, bases de dados, estatísticas tradicionais e gráficas para apresentar relações ocultas e padrões encontrados no repositório de dados da organização.

41. Grupo(s) de Pesquisa 10/12/2009 Emerson Henrique S. Silva 41 Empregos na área de BI existem, porém poucos são as pessoas qualificadas para assumir essas vagas Existe espaço para novas pesquisas em cima de BI, novas ferramentas tecnologias, arquiteturas, metodologias de desenvolvimento, soluções open source,..., entre outras várias Então por que não unir o útil ao agradável e montar na instituição um grupo de pesquisa e estudos sobre BI?

42. Proposta de Projeto Inicial 10/12/2009 Emerson Henrique S. Silva 42 Desenvolver um solução completa de BI para o setor de transporte coletivo urbano Visando atender necessidades estratégicas de empresas de transporte coletivos, de associações de empresas do ramo de transporte coletivo, de organizações governamentais controladoras e fiscalizadoras e, principalmente, a dos usuários desse sistema de transporte.

43. Interessados no grupo de pesquisas? 10/12/2009 Emerson Henrique S. Silva 43 Se você se interessou entre em contato comigo ou com o professor Fábio Nicácio(fabionicacio@gmail.com) É tempo de buscar novos conhecimentos e novas oportunidades de emprego, além de oportunidades de negócio.

44. Dúvidas 10/12/2009 Emerson Henrique S. Silva 44

45. Obrigado! 10/12/2009 Emerson Henrique S. Silva 45

46. Referências 10/12/2009 Emerson Henrique S. Silva 46 BARBIERI, Carlos. Business Intelligence: Modelagem e Tecnologia. Rio de Janeiro: Axcel Books. 2001. INMON, W. H. Como construir o Data Warehouse. Rio de Janeiro: Editora Campus, 1997. KIMBALL, Ralph. Data Warehouse Toolkit: Técnicasparaconstrução de data warehouses dimensionais. São Paulo: Makron Books. 1998. KIMBALL, Ralph; ROSS, Margy. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling. 2ed. New York: John Wiley & Sons. Inc. 2002. MACHADO, Felipe N. R. Tecnologia e Projeto de Data Warehouse: Uma Visão Multidimensional. 3ed. São Paulo: Érica, 2007. MOSS, Larissa T.; ATRE, Shaku. Business Intelligence Roadmap: The Complete Project Lifecycle for Decision-Support Applications. Boston: Pearson Education, Inc. 2003. SING, Hary. Data Warehouse. São Paulo: Makron Books, 2001.