O documento descreve as etapas da cadeia de processamento de dados em Business Intelligence, incluindo a extração, transformação, carregamento para data warehouse e data marts, análise dimensional, geração de relatórios e evolução contínua dos modelos analíticos. Também discute a importância de equipes especializadas para cada etapa e do uso de ferramentas de agendamento para garantir a entrega dos processos.

1. Tente tornar os processos o mais claro e objetivo possível. Em
processamentos complexos faça o óbvio. O quanto mais simples for nosso
processamento melhor. Teremos mais performance e ainda qualidade de
dados.
No processamento da cadeia em BI consideramos que etapas sejam
cumpridas para termos uma execução de sucesso.
A primeira etapa é a extração de dados dos sistemas ou fontes de dados
das aplicações clientes. Na maioria das vezes transformamos, ou melhor,
adaptamos as informações extraídas ao nosso modelo de armazenamento.
É a nossa camada de staging.
Na nossa área de armazenamento, nosso data warehouse, temos o
histórico. O histórico do registro. Aqui tenho a relação de quando o
empregado ficou em um determinado departamento e o as vendas que
ele fez.
Com o data warehouse estruturado conseguimos gerar uma amostra
daquilo que vou disponibilizar para análise. Um conjunto das informações
para um departamento da empresa ou então algum assunto específico,
como as vendas de produtos ou então as informações do departamento de
RH.
Normalmente, a análise dimensional é feita a partir da estrutura desta
última camada. A partir do data mart. E com base na versão atual da
informação.
E o report é feito a partir da análise dimensional. Sendo por ferramentas
específicas escolhidas pelos gestores ou então disponibilizamos o acesso
ao resultado gerado e os próprios usuários fazem as devidas análises e
cruzamento de informações.
Em grandes ambientes o data mart e a análise dimensional são tratados
como modelos analíticos. São grandes modelos e em constante evolução.
Sendo enriquecidos com informações de outros modelos e gerando um
resultado de visão que contempla toda a empresa.
DIRETO AO PONTO
Por equipes
Quando trabalhamos com modelos
analíticos, consideramos um certo
volume de dados e a complexidade. A
complexidade quase sempre está na
estrutura dimensional. Devemos ter
sempre uma boa análise para criar um
data warehouse consistente e nisso
também gasta-se um tempo.
Em grandes projetos, diferentes equipes
vão compor o time BI. Depois de
montada a arquitetura, uns ficarão com
o ETL, outros com o ambiente OLAP,
outros com relatórios. São processos
que são automatizados, mas sempre há
responsáveis. Normalmente a
informação é extraída quando não
muita atividade operacional. Ou quando
determinamos que seja de outra forma.
Se tivermos problemas em um dos
processos, os responsáveis irão verificar
e dar continuidade.
Sempre é bom utilizar ferramentas de
agendamento e controle de tarefas.
Onde conseguimos determinar que há
tarefas dependentes de outras e que há
horários neste agendamento. Horários
que devem ser respeitados. Que podem
acarretar um atraso na entrega de toda
a cadeia.
Algo não está certo nos dados
e alguém precisa verificar
Quando temos uma visão mais crítica
em cima dos dados, conseguimos
identificar em uma amostra dos dados e
se for necessário alterar “algo”.
Poucos dias atrás, verifiquei uma
situação de uma determinada
hierarquia. Algo não batia. Pois um nível
tinha dois pais. Independente do nível.
A famosa relação parent child many-to-
many. Que maravilha. A solução foi
alterar dimensão relativa e utilizar
relações many-to-many no cubo OLAP.
Sobrou para a etapa da camada OLAP
realizar a alteração. E isso é normal.
Todos pelo mesmo fim.
EVOLUÇÃO DO MERCADO BUSINESS INTELLIGENCE – A
CADEIA DE PROCESSAMENTO
Marcelo K Krug
Twitter: @marcelokrug
Email: marcelokrug@gmail.com