O documento apresenta uma metodologia ágil para projetos de Business Intelligence (BI) baseada em entregas incrementais e contínuas. A metodologia enfatiza iniciar com mapeamento dos requisitos de negócios, criação de protótipos funcionais o mais rápido possível e validação constante com os usuários. A construção definitiva do projeto deve seguir os mesmos princípios de desenvolvimento incremental e automação dos processos.

1. Desenvolvendo uma
metodologia Ágil para
Projetos de BI
Marco Garcia
mgarcia@cetax.com.br
www.cetax.com.br

2. Quem somos – Cetax Consultoria
 Empresa especializada em BI
 Consultoria e Treinamento
 Fundada em 2001
 Mais de 30 projetos bem sucedidos, executados
por seus colaboradores.

3. Quem sou – Marco Antonio Garcia
 Formado pela FATEC, MBA pela FGV
 21 anos em TI, 15 em BI/DW.
 Mais de 35 projetos executados.
 Especialista em finanças, marketing e vendas.
 Em 1999 abandonei a carreira de Desenvolvedor
para especialização em DW/BI
 2005 – Cursos Kimball nos EUA
 2011/2013 - Cursos TDWI nos EUA
 Hadoop/Big Data nos EUA

4. Projetos de Inteligência
São essencialmente projetos de negócios !
Mas apoiados por tecnologia !

5. O que se espera de um projeto ?
 Assertividade – cumpra os requisitos.
 Performance – seja rápido.
 Custo – não exceda as expectativas de custo
 Etc..etc..
 Resolva todos os problemas, mesmo aqueles que não
conhecemos.

6. Para Atingir o resultado esperado
 Busca-se uma metodologia.
 Know-how de quem já fez.
 Experiências em outros projetos.
 Experiências na mesma indústria.

7. Busca por uma metodologia,
Todos querem um Livro Santo !
1998 – 900 páginas
2008– 636 páginas

8. Busca por uma metodologia
Ciclo de Vida Kimball
1
2
3
4

9. Pontos de Falha no Ciclo
1-ESPERA-SE QUE TODOS OS REQUISITOS SEJAM
COLETADOS EM UMA ÚNICA FASE
2-ESCOLHA DOS SOFTWARES É FEITA SOMENTE NA
4A ETAPA
3-O PROCESSO DE CARGA DE DADOS INICIA
SOMENTE NA 5A ETAPA
4-A INTERAÇÃO DOS USUARIOS COM AS
FERRAMENTAS SAO FEITAS SOMENTE NA 5A ETAPA

10. Metodologia Ágil = Entrega Contínua
- DIMINUIR CICLOS DE DESENVOLVIMENTO
- GERAR PROTÓTIPOS VIÁVEIS PARA ANÁLISE
- CRIAR FASES INCREMENTAIS
- FOCO NO DESENVOLVIMENTO DO PRODUTO FINAL

11. Como construir um projeto do ZERO
Negócios
Modelo
Dados
Regras
Arquitetura
Controles
Protótipo
Construção
Definitiva

12. Negócios
- Comece sempre pelas saídas
- Relatórios
- Visões
- Consultas
- Não deixe de entender as principais regras de negócios
- Cálculos, De-Paras, Agrupamentos, Formatação

13. Negócios – separe os relatórios
- Agrupe por Departamentos e Processos de Negócios
FINANÇAS
CONTAS A PAGAR
CONTAS A RECEBER
INADIMPLÊNCIA
FLUXO DE CAIXA
VENDAS
EMISSÃO NOTAS FISCAIS
ENTREGAS

14. Para cada grupo de relatórios
Pense nos 4 passos Kimball (base montagem dos relatórios)
1) Processo de Negócio – qual processo será atendido
Ex.: Financeiro – Contas a Pagar
2) Granularidade – Nível de Detalhe do Processo
Ex.: 1 registro por titulo,data,fornecedor e parcela
3) Dimensões – Entidades Descritivas
Ex.: Datas (Cad,Vencto,Pagto), Departamento,
Fornecedor, MeioPagto, ContaCorrente, Funcionário.
4) Métricas – métricas básicas do processo
Ex.: Vlr Título, Vl Multa, Vl Juros

15. Importante !
- Tenha certeza que os relatórios mapeados estejam sendo
atendidos pelos 4 Passos Kimball.
- Sempre modele suas tabelas no nível mais granular, é
sempre mais fácil agregar do que abrir os dados.
- Localize as entidades bases, são aquelas tabelas que dão
origens principais aos dados.
- Pense na Desnormalização ( Data Warehouse Toolkit 3 ).
- Corra para criar um protótipo funcional o mais rápido
possível !

16. Modelo e Dados
- Após mapear o negócio, precisamos mapear os dados
- Precisamos de ajuda : DBA, AD, Desenvolvedor.
- Localize as entidades bases.
- MOVIMENTAÇÕES OU SALDOS = FATOS
- CADASTROS PRINCIPAIS = DIMENSÕES

18. Modelo e Dados : DATA PROFILING
- Examinar os dados da origem para ter certeza que
suportam as análises de negócio.
- Busquem por :
- PK,FK e UK
- Colunas vazias
- Dominios e padrões
- De-Paras

19. Modelo e Dados : DATA PROFILING
- Qualquer falha nos dados :
- AVISE A TODOS IMEDIATAMENTE
- 3 CAMINHOS
- Buscar por uma nova fonte de dados
- Criar uma regra, cálculo ou de-para
- Assumir um valor “default” ou abandonar a coluna

20. REGRAS e CÁLCULOS
- Os processos de transformação dos dados da origem para
a visão esperada no sistema de BI, será feita através das
regras de transformação de dados.
- Regras de qualidade garantem o tratamento dos dados
- Regras de DE-PARA garantem a padronização
- Regras de cálculos garantem os dados previamente
calculados.

21. ARQUITETURA
- Softwares
- Banco de dados ( Armazenamento )
- Integração ( ETL )
- Apresentação ( Front-End )
- Arquitetura DW
- Kimball ou Inmon
- Controles ( em fase de protótipo não criamos os controles )

22. ARQUITETURA - softwares
Banco de dados ( Armazenamento )
- MySql, PostgreSQL,Oracle, SqlServer
- Hadoop ( HDFS, HBASE )
- NoSql ( Cassandra, MongoDB, etc )
Integração ( ETL )
- PDI, TalendETL ( OpenSource )
- SSIS, OWB (Database Component)
- PowerCenter, DataStage, BO DI ( Independent )
- Apresentação ( Front-End )
- Arquitetura DW

23. ARQUITETURA - softwares
- Apresentação ( Front-End )
- Excel, PowerPivot,PowerBI
- Pentaho, Jasper, Spago
- Tableau, Qlikview, Tibco Spotfire
- Oracle BIEE, SAP BO, IBM Cognos

24. ARQUITETURA – DATA WAREHOUSE?
- Construir ou não o data warehouse ?
- Se possuir mais de 1 fonte de dados
- Necessidade de integração de dados
- Padronização, limpeza, qualidade de dados
- Deseja tornar o armazenamento independente do front-
end ?
SE AS RESPOSTAS FOREM = SIM
CRIE O DATA WAREHOUSE ou DATA MART

25. ARQUITETURA – KIMBALL

26. ARQUITETURA – INMON

27. PROTÓTIPO
- Escolha junto aos usuários de negócio uma massa de
dados para o protótipo, ex.: Março/2015.
- Crie o protótipo o mais rápido possível.
- CREATE TABLE AS SELECT - pode ser uma boa
solução.
- Mas sempre respeite a modelagem dimensional
- Deixe o protótipo o mais funcional possível.
- Coloque a ferramenta de BI para acessar o protótipo.

28. PROTÓTIPO
- Faça junto com os usuários sessões de validação:
- Montando relatórios
- Análises
- Consultas
- Os itens divergentes ou correções, se tornam atividades de
desenvolvimento do projeto.

29. PROTÓTIPO – alterações viram CARDS

30. DEFINA OS CONTROLES DE ETL
Subsystem 4 - Data Quality
Subsystem 5 - Controle Eventos
Erros
Subsystem 6 - Dimensão Auditoria
CTRL_Regras_Eventos_Carga
cdRegraDados
dsRegraDados
idCargaDados
dsTabelaPrincipal
CTRL_Mapas
cdMapa
dsMapaCarga
dsTabelaPrincipal
dsEtapaCarga
dtParIniCarga
dtParFimCarga
dsFiltroCarga_1
dsFiltroCarga_2
dsFiltroCarga_3
DimAuditoria
skAudit
dsMapaCarga
dsTabelaPrincipal
qtRegistrosOrigem
qtRegistrosCarga
qtRegistrosErros
dthrInicioCarga
dthrFimCarga
stGeralCarga
CTRL_Erros_Eventos_Carga
skAudit (FK)
cdRegraDados (FK)
cdMapa (FK)
dthrErroCarga
dsRegistroOrigem
dsErroCarga
cdErroCarga
Stg_Estatitscas_Cargas
cdMapa (FK)
skAudit (FK)
dtReferencia
qtRegistroCarregados
qtRegistrosErros
qtRegistrosLidos

31. Após aprovação Protótipo
 Pense na construção definitiva
 ETLs
 Automação
 Carga
 Teste
 Disponibilização aos usuários

32. ITENS IMPORTANTES !
 Construção incremental
 Entregas semanais
 Acompanhamento constante dos usuários
 Crie Templates
 Modelos de Dados
 ETLs
 Controles

33. Obrigado !
Para dúvidas:
mgarcia@cetax.com.br
* Importante ! Próxima semana
Treinamento de modelagem
dimensional – desconto para todos
que estão aqui
Contato@cetax.com.br – Pentaho Day