Introdução ao BI
Msc. Mauro C. Pichiliani (@pichiliani)
1
Roteiro
• Apresentação
• Conceitos e teoria de BI
• OLTP e OLAP
• Histórico
• Modelagem Dimensional
• Cubo de Dados
• Conclusões
2
Apresentação (1)
3
 Mauro Pichiliani (pichiliani@uol.com.br)
 Colunista do iMasters (www.imasters.com.br)
 Fundador do podcast Databasecast (@databasecast)
 Escritor da revista SQL Magazine (
www.devmedia.com.br)
 Pesquisador de banco de dados e sistemas
distribuídos.
 Doutorando do ITA (Instituo de Tecnologia da
Aeronáutica)
 Experiência com o BI desde 2001
Apresentação (2)
4
 E vocês?
 Experiência com:
 Programação Java? .NET?
 Banco de dados?
 Modelagem?
 BI, DW, ERP, OLAP?
 Linux? Inglês?
Conceitos e teoria de BI (1)
5
 BI = Bussiness Intelligence
 Definição: Utilizar informação já disponível
para auxiliar os tomadores de decisão a
tomar decisões melhores e mais rápidas
 Substitui sistemas EIS (Executive Information
Systems) e DSS (Decision Support Systems)
Conceitos e teoria de BI (2)
6
 O foco é na geração de relatórios dinâmicos
para analistas e tomadores de decisão
 Usuários especializados (analistas)
 Não há a necessidade de conhecimentos
técnicos profundos sobre as ferramentas
 BI envolve diversas tecnologias e processos.
 Geralmente é implementado como
ferramenta para visualização de dados
Conceitos e teoria de BI (3)
7
Conceitos e teoria de BI (4)
8
Conceitos e teoria de BI (5)
9
 Relatórios:
 Tipo Dashboard
 Relatórios de produção
 Relatórios Analíticos
 Exemplos: clientes, pedidos fechados, status
de faturamento, contas a pagar, satisfação de
clientes, etc
Conceitos e teoria de BI (7)
10
 Data Warehouse: Repositório para armazenar
e analisar informações quantitativas e
qualitativas que são estáveis e confiáveis.
 Comparação com DW e Bancos Relacionais:
a) Suportar atividades x Planejamento
b) Detalhes x Agregação de alto nível
c) Aplicação específica x Agrega Dados
d) Imediato x Atividade através do tempo
e) Volátil x Estável
f) Rápido para detalhes x Rápidos para agregações

Conceitos e teoria de BI (8)
11
 Data Mart: Subconjunto do DW, geralmente
voltado para um propósito específico ou
contexto. Pode ser distribuído para suportar a
necessidade do negócio
 Artigo: Data Mart does not Equal Data
Warehouse, em:
 http://www.information-management.com/infodirect/19991120/1675-
1.html
OLTP e OLAP (1)
12
 OLTP = OnLine Transaction Processing
 Utilizado para gerenciar transações e operações diárias
 E. F. Codd propôs 12 critérios para OLTP em 1985
 OLAP = Online Analytical processing
 Descreve ferramentas especializadas para tornar os dados do
DW facilmente acessíveis
 E. F. Codd propôs 15 critérios para OLAP em 1985
OLTP e OLAP (2)
13
Histórico
14
Modelagem Dimensional (1)
15
 Modelo multidimensional (ou dimensional): um design para Data
Warehouse
 Conceito de múltiplas dimensões foi pego da física
 Baseado nas idéias de dimensões e medidas
 Medida (ou indicadores): Valor numérico totalizado utilizado para
monitorar o negócio
 Dimensões: Lista independete de valores que filtrados afetam o
cálculo da medida
 Modelagem tradicional não atende os requisitos de ferramentas
OLAP e dinâmica das visualizações
 Geralmente aplica normalização até 2FN
 Algum nível de desnormalização
Modelagem Dimensional (2)
16
 Dimensões representam as possíveis formas de visualizar os dados.Dimensões representam as possíveis formas de visualizar os dados.
São as entradas para as consultas. A base para entendimento deSão as entradas para as consultas. A base para entendimento de
qualquer negócio é responder às quatro perguntas fundamentais:qualquer negócio é responder às quatro perguntas fundamentais:
 QUANDO? (Período de tempo a que se refere à análise)QUANDO? (Período de tempo a que se refere à análise)
 O QUE? (O principal objeto de análise)O QUE? (O principal objeto de análise)
 ONDE? (Localização física ou geográfica para análise)ONDE? (Localização física ou geográfica para análise)
 QUEM? (Um objeto específico e detalhado para análise: opcional)QUEM? (Um objeto específico e detalhado para análise: opcional)
 Exemplo: relatório de vendas
Modelagem Dimensional (3)
17
 Figura 1: Relatório de unidades vendidas
 Figura 2: Análise mensal
 Figura 3: Por produto e por mês
 Duas dimensões: produto e mês
 Uma medida: unidades vendidas
 Elementos da dimensão são chamados de membros
Modelagem Dimensional (4)
18
 Figura 4: Por produto e mês de forma diferente
 Duas dimensões: produto e mês
 Uma medida: unidades vendidas
Modelagem Dimensional (5)
19
 Figura 5: Por produto, estado e mês
 Três dimensões: estado, produto e mês
 Uma medida: unidades vendidas
Modelagem Dimensional (6)
20
 Figura 6: Por produto, estado e mês + lucro
 Três dimensões: estado, produto e mês
 Duas medidas: unidades vendidas e lucro
Modelagem Dimensional (7)
21
 Dados de dimensão são armazenados em tabelas de dimensão
 Dados das medidas são armazendos em tabelas fato. Exemplo:
 Cada linha da tabela fato contém valores detalhados (fatos)
 Uma coluna para cada medida e ligações com as tabelas de
dimensão
 Sempre contém o membro mais detalhado da dimensão
Modelagem Dimensional (8)
22
 Exemplo de tabela fato com relacionamentos:
 Um DW pode conter várias tabelas fato
 As tabelas fato contém chaves estrangeiras para as tabelas de
dimensão
 Cada tabela de dimensão contém um identificador e atributos
dos membros da dimensão
 Tomar cuidado com a nomeclatura!
Modelagem Dimensional (9)
23
 Exemplo de tabela de dimensão simples:
 Coluna PROD_ID é chave primária
 Tabelas de dimensão podem conter vários atributos representados
pelas suas colunas. Exemplo de outros atributos:
Modelagem Dimensional (10)
24
 Alguns atributos podem agrupar membros da dimensão: cor
 Não faz sentido agrupar por certos atributos: preço
 Exemplo:
 Agrupamento de membros por atributos da dimensão dá
origem a hierarquias
 Abaixo da hierarquia podemos ter níveis de membros
 Navegação nos níveis: Drill-down and Drill-up.
Modelagem Dimensional (10a)
25
 Dimensões, hierarquias, níveis, membros:
Modelagem Dimensional (11)
26
 Exemplos de modelos:
Tabela de
Fatos
Dimensão
Aluno
Dimensão
Tempo
Dimensão
Curso
Dimensões
Hierarquias
Níveis
Membros
Modelagem Dimensional (12)
27
 Exemplos de modelos:
Modelagem Dimensional (13)
28
 Exemplos de modelos:
Modelagem Dimensional (14)
29
 Dimensões star (estrela):
 Apenas uma tabela de dimensão
 Dimensões snowflake (floco-de-neve):
 Mais de uma tabela de dimensão relacionada
 Maioria dos modelos é híbrida
 Modelagem dimensional é fundamental para entender OLAP
 Geralmente a modelagem está envolvida como processo de ETL
 Recomenda-se gastar uma boa parte do tempo na modelagem
Cubo de dados (1)
30
 O conceito de cubo vem da matemática:
 3 dimensões apenas
 Em OLAP, um cubo requer ao menos uma dimensão e uma medida:
 Pode possuir muitas medidas
 Pode possuir muitos membros
 Um cubo é uma estrutura multidimensional criada a partir do
modelo multidimensional
 A princípio contém apenas metadados
 Pode conter agregações
Cubo de dados (2)
31
 Exemplo: 3 dimensões e uma medida:
Cubo de dados (3)
32
 Exemplo: 3 dimensões e uma medida:
Cubo de dados (4)
33
 Exemplo: 3 dimensões e uma medida:
Cubo de dados (5)
34
 Visualização do cubo
Cubo de dados (6)
35
 Operações: Slice e Dice
Cubo de dados (7)
36
 Em resumo, ferramentas OLAP permitem:
 1) Resposta rápida e consistente
 Modelo de planilha
 Modelo multidimensional em RBDMS
 2) Consultas baseadas em metadados
 Cubos contém muitos metadados
 MDX (Multidimensional Expressions) x SQL
 Usuários não precisam conhecer SQL e nem MDX
 3) Fórmula no cubo, como em uma planilha
 Valores separados em células
 Manipulação de células
 Modelo de medatados para célula. E: [avg] x c4
 Acesso a diferentes cubos
Conclusões
37
 Foco de BI é trazer inteligência ao negócio
 Sempre procurar auxiliar o tomador de decisões
 Várias fases compõem o processo de BI
 A modelagem é imprescindível
 Relatórios são cruciais
 A tecnologia pode variar ao longo do tempo, mas conceitos
permanecem

Introdução ao BI

  • 1.
    Introdução ao BI Msc.Mauro C. Pichiliani (@pichiliani) 1
  • 2.
    Roteiro • Apresentação • Conceitose teoria de BI • OLTP e OLAP • Histórico • Modelagem Dimensional • Cubo de Dados • Conclusões 2
  • 3.
    Apresentação (1) 3  MauroPichiliani (pichiliani@uol.com.br)  Colunista do iMasters (www.imasters.com.br)  Fundador do podcast Databasecast (@databasecast)  Escritor da revista SQL Magazine ( www.devmedia.com.br)  Pesquisador de banco de dados e sistemas distribuídos.  Doutorando do ITA (Instituo de Tecnologia da Aeronáutica)  Experiência com o BI desde 2001
  • 4.
    Apresentação (2) 4  Evocês?  Experiência com:  Programação Java? .NET?  Banco de dados?  Modelagem?  BI, DW, ERP, OLAP?  Linux? Inglês?
  • 5.
    Conceitos e teoriade BI (1) 5  BI = Bussiness Intelligence  Definição: Utilizar informação já disponível para auxiliar os tomadores de decisão a tomar decisões melhores e mais rápidas  Substitui sistemas EIS (Executive Information Systems) e DSS (Decision Support Systems)
  • 6.
    Conceitos e teoriade BI (2) 6  O foco é na geração de relatórios dinâmicos para analistas e tomadores de decisão  Usuários especializados (analistas)  Não há a necessidade de conhecimentos técnicos profundos sobre as ferramentas  BI envolve diversas tecnologias e processos.  Geralmente é implementado como ferramenta para visualização de dados
  • 7.
    Conceitos e teoriade BI (3) 7
  • 8.
    Conceitos e teoriade BI (4) 8
  • 9.
    Conceitos e teoriade BI (5) 9  Relatórios:  Tipo Dashboard  Relatórios de produção  Relatórios Analíticos  Exemplos: clientes, pedidos fechados, status de faturamento, contas a pagar, satisfação de clientes, etc
  • 10.
    Conceitos e teoriade BI (7) 10  Data Warehouse: Repositório para armazenar e analisar informações quantitativas e qualitativas que são estáveis e confiáveis.  Comparação com DW e Bancos Relacionais: a) Suportar atividades x Planejamento b) Detalhes x Agregação de alto nível c) Aplicação específica x Agrega Dados d) Imediato x Atividade através do tempo e) Volátil x Estável f) Rápido para detalhes x Rápidos para agregações 
  • 11.
    Conceitos e teoriade BI (8) 11  Data Mart: Subconjunto do DW, geralmente voltado para um propósito específico ou contexto. Pode ser distribuído para suportar a necessidade do negócio  Artigo: Data Mart does not Equal Data Warehouse, em:  http://www.information-management.com/infodirect/19991120/1675- 1.html
  • 12.
    OLTP e OLAP(1) 12  OLTP = OnLine Transaction Processing  Utilizado para gerenciar transações e operações diárias  E. F. Codd propôs 12 critérios para OLTP em 1985  OLAP = Online Analytical processing  Descreve ferramentas especializadas para tornar os dados do DW facilmente acessíveis  E. F. Codd propôs 15 critérios para OLAP em 1985
  • 13.
  • 14.
  • 15.
    Modelagem Dimensional (1) 15 Modelo multidimensional (ou dimensional): um design para Data Warehouse  Conceito de múltiplas dimensões foi pego da física  Baseado nas idéias de dimensões e medidas  Medida (ou indicadores): Valor numérico totalizado utilizado para monitorar o negócio  Dimensões: Lista independete de valores que filtrados afetam o cálculo da medida  Modelagem tradicional não atende os requisitos de ferramentas OLAP e dinâmica das visualizações  Geralmente aplica normalização até 2FN  Algum nível de desnormalização
  • 16.
    Modelagem Dimensional (2) 16 Dimensões representam as possíveis formas de visualizar os dados.Dimensões representam as possíveis formas de visualizar os dados. São as entradas para as consultas. A base para entendimento deSão as entradas para as consultas. A base para entendimento de qualquer negócio é responder às quatro perguntas fundamentais:qualquer negócio é responder às quatro perguntas fundamentais:  QUANDO? (Período de tempo a que se refere à análise)QUANDO? (Período de tempo a que se refere à análise)  O QUE? (O principal objeto de análise)O QUE? (O principal objeto de análise)  ONDE? (Localização física ou geográfica para análise)ONDE? (Localização física ou geográfica para análise)  QUEM? (Um objeto específico e detalhado para análise: opcional)QUEM? (Um objeto específico e detalhado para análise: opcional)  Exemplo: relatório de vendas
  • 17.
    Modelagem Dimensional (3) 17 Figura 1: Relatório de unidades vendidas  Figura 2: Análise mensal  Figura 3: Por produto e por mês  Duas dimensões: produto e mês  Uma medida: unidades vendidas  Elementos da dimensão são chamados de membros
  • 18.
    Modelagem Dimensional (4) 18 Figura 4: Por produto e mês de forma diferente  Duas dimensões: produto e mês  Uma medida: unidades vendidas
  • 19.
    Modelagem Dimensional (5) 19 Figura 5: Por produto, estado e mês  Três dimensões: estado, produto e mês  Uma medida: unidades vendidas
  • 20.
    Modelagem Dimensional (6) 20 Figura 6: Por produto, estado e mês + lucro  Três dimensões: estado, produto e mês  Duas medidas: unidades vendidas e lucro
  • 21.
    Modelagem Dimensional (7) 21 Dados de dimensão são armazenados em tabelas de dimensão  Dados das medidas são armazendos em tabelas fato. Exemplo:  Cada linha da tabela fato contém valores detalhados (fatos)  Uma coluna para cada medida e ligações com as tabelas de dimensão  Sempre contém o membro mais detalhado da dimensão
  • 22.
    Modelagem Dimensional (8) 22 Exemplo de tabela fato com relacionamentos:  Um DW pode conter várias tabelas fato  As tabelas fato contém chaves estrangeiras para as tabelas de dimensão  Cada tabela de dimensão contém um identificador e atributos dos membros da dimensão  Tomar cuidado com a nomeclatura!
  • 23.
    Modelagem Dimensional (9) 23 Exemplo de tabela de dimensão simples:  Coluna PROD_ID é chave primária  Tabelas de dimensão podem conter vários atributos representados pelas suas colunas. Exemplo de outros atributos:
  • 24.
    Modelagem Dimensional (10) 24 Alguns atributos podem agrupar membros da dimensão: cor  Não faz sentido agrupar por certos atributos: preço  Exemplo:  Agrupamento de membros por atributos da dimensão dá origem a hierarquias  Abaixo da hierarquia podemos ter níveis de membros  Navegação nos níveis: Drill-down and Drill-up.
  • 25.
    Modelagem Dimensional (10a) 25 Dimensões, hierarquias, níveis, membros:
  • 26.
    Modelagem Dimensional (11) 26 Exemplos de modelos: Tabela de Fatos Dimensão Aluno Dimensão Tempo Dimensão Curso Dimensões Hierarquias Níveis Membros
  • 27.
  • 28.
  • 29.
    Modelagem Dimensional (14) 29 Dimensões star (estrela):  Apenas uma tabela de dimensão  Dimensões snowflake (floco-de-neve):  Mais de uma tabela de dimensão relacionada  Maioria dos modelos é híbrida  Modelagem dimensional é fundamental para entender OLAP  Geralmente a modelagem está envolvida como processo de ETL  Recomenda-se gastar uma boa parte do tempo na modelagem
  • 30.
    Cubo de dados(1) 30  O conceito de cubo vem da matemática:  3 dimensões apenas  Em OLAP, um cubo requer ao menos uma dimensão e uma medida:  Pode possuir muitas medidas  Pode possuir muitos membros  Um cubo é uma estrutura multidimensional criada a partir do modelo multidimensional  A princípio contém apenas metadados  Pode conter agregações
  • 31.
    Cubo de dados(2) 31  Exemplo: 3 dimensões e uma medida:
  • 32.
    Cubo de dados(3) 32  Exemplo: 3 dimensões e uma medida:
  • 33.
    Cubo de dados(4) 33  Exemplo: 3 dimensões e uma medida:
  • 34.
    Cubo de dados(5) 34  Visualização do cubo
  • 35.
    Cubo de dados(6) 35  Operações: Slice e Dice
  • 36.
    Cubo de dados(7) 36  Em resumo, ferramentas OLAP permitem:  1) Resposta rápida e consistente  Modelo de planilha  Modelo multidimensional em RBDMS  2) Consultas baseadas em metadados  Cubos contém muitos metadados  MDX (Multidimensional Expressions) x SQL  Usuários não precisam conhecer SQL e nem MDX  3) Fórmula no cubo, como em uma planilha  Valores separados em células  Manipulação de células  Modelo de medatados para célula. E: [avg] x c4  Acesso a diferentes cubos
  • 37.
    Conclusões 37  Foco deBI é trazer inteligência ao negócio  Sempre procurar auxiliar o tomador de decisões  Várias fases compõem o processo de BI  A modelagem é imprescindível  Relatórios são cruciais  A tecnologia pode variar ao longo do tempo, mas conceitos permanecem