O que aprendi desenvolvendo um bi dentro de uma instituição financeira
1. O que aprendi desenvolvendo um BI dentro de uma instituição financeira
2. Mateus Lopes
• Bacharel em Ciência da Computação pela Universidade Federal da Bahia
• MBA em Gestão da Informação e Business Intelligence pela UNIFACS
• CTO da Everest Tecnologia da Informação
3. Como uma instituição financeira funciona?
• Diversos produtos financeiros são oferecidos aos clientes, cada um com
sua natureza e diferentes formas de rentabilizar
• Os produtos consumidos pelos clientes geram rebates financeiros que
remuneram a empresa (algo como uma comissão a um vendedor)
• O Banco Central e a CVM (Comissão de Valores Mobiliários)
regulamentam o mercado financeiro e realizam auditorias periódicas na
instituição.
4. E que produtos são esses?
• CVM
• AdministradorasFundos de investimentos
• CVM
• SeguradorasPrevidência privada
• Tesouro NacionalTesouro Direto
• Bancos privados (CDB, LCI, LCA)Produtos de renda fixa
• AnbimaTítulos Públicos
• AnbimaDebêntures
5. Como esses produtos são rentabilizados?
• Fundos de investimentos
• Os fundos ficam registrados na CVM
• Os clientes aplicam e resgatam as cotas. Quem gerencia é a administradora.
• Diariamente a CVM publica as cotas dos fundos via WebService
• Previdência Privada
• São fundos com regulações específicas
• Quem gerencia as aplicações e os resgates é a seguradora.
6. Como esses produtos são rentabilizados?
• Tesouro Direto
• São títulos emitidos pelo Tesouro Nacional
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site do Tesouro Nacional publica as PU’s dos títulos em
planilhas.
• Renda Fixa
• São títulos emitidos por Bancos Privados
• São indexados a índices do mercado (como CDI e inflação) ou prefixados.
• Diariamente as rentabilidades dos índices são publicadas via WebService do
Banco Central.
7. Como esses produtos são rentabilizados?
• Títulos Públicos
• São títulos emitidos pelo Tesouro Nacional
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site da Anbima (Associação Brasileira das Entidades dos
Mercados Financeiro e de Capitais) publica as PU’s dos títulos em arquivos.
• Debêntures
• São títulos emitidos por empresas privadas para financiar suas dívidas
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site da Anbima (Associação Brasileira das Entidades dos
Mercados Financeiro e de Capitais) publica as PU’s das debêntures em
arquivos
8. O consultor financeiro
• É o profissional que realiza o atendimento ao cliente:
• Análise da situação atual dos investimentos dos clientes
• Elaboração de carteiras que atendam às expectativas dos clientes
• Acompanham os processos de aplicação e resgate
• É o “personal banker” dos clientes
10. Desafio inicial
• Diversos clientes com diversos produtos financeiros
• Dificuldade de centralizar as informações
• Cada parceiro tinha uma forma diferente de publicar os dados
• Necessidade de prover ao cliente acesso aos seus produtos
• Rentabilidade dos produtos
• Rentabilidade da carteira
• Necessidade de gerar relatórios gerenciais sobre o patrimônio gerido,
separando por filiais, consultores, etc.
12. Desenvolver in house ou contratar
ferramentas de BI externas?
• As regras de cotização de ativos (produtos) são complexas e variam
muito de produto a produto;
• As ferramentas de BI do mercado não nos daria a flexibilidade necessária
para a cotização das carteiras;
• Tínhamos a expectativa de criar um produto próprio: um BI voltado para
o mercado financeiro. Nesse aspecto levantar um sistema em cima de
outra plataforma nos tiraria a autonomia.
13. Qual a arquitetura do sistema?
• Apartamos o banco de dados relacional do BI e realizamos os cálculos de
rentabilidade na etapa de ETL;
• Construímos um robô para cada parceiro que publicava os dados de
seus respectivos produtos;
• Projetamos cubos direcionados para cada análise que desejávamos
realizar:
• Patrimônio total sob gestão da instituição financeira
• NET – saldo entre aplicações e resgates
• Financeiro – rebate gerado pelos produtos financeiros dos clientes
14. ETL – Extract, Transform and Loading
Fundos
Previdência
Tesouro
Direto
...
Rentabilidade dia a dia
15. ETL – Extract, Transform and Loading
Rentabilidade mês a mês
Rentabilidade dia a dia
Relatórios gerenciais
17. Quais dados estão na tabela de dimensões
• Surrogate key: cada registro indica uma única aplicação de um cliente
em um produto financeiro
• Dados básicos do cliente
• Assessor/Filial
• Consultor
• ID e Nome dos produtos financeiros (fundos, títulos, etc.)
• Classificação de risco (conservador, moderado, arrojado)
• Etc.
19. Artefatos de banco de dados
• Para a etapa de ETL: Procedures
• Cálculo de cotização das carteiras: Procedures
• Para a leitura dos dados para relatórios: Functions
• Acesso aos dados dos bancos relacionais: Views
• Controle de transação
• Nível de isolamento
• Índices, índices e mais índices
20. Testes automatizados no BI
• Complexidade dos cruzamentos dos dados
• Alto requisito de confiabilidade dos dados extraídos
• Os testes deveriam garantir que as regras de cotização dos ativos bem
como a extração dos seus dados estivessem sempre corretas
• Proteção para os programadores que alterassem procedures e functions
21. Testes automatizados no BI
• Criamos um banco de homologação apartado do de produção
• No banco relacional criamos diversas situações que refletissem os
clientes em produção:
• Cliente com todos os tipos produtos na carteira
• Cliente com duas previdências
• Cliente que realizou resgate parcial ou total
• Cliente que aplicou duas vezes no mesmo fundo em datas distintas
• Etc.
• Para cada visão do cubo cobrimos de testes para os clientes simulados
• Hoje os testes do BI possuem mais de 1500 verificações
23. Visões específicas/customizadas dos cubos
• Com o passar do tempo diversas demandas por novas visões dos cubos
que o sistema não contemplava começaram a surgir
• O tempo de desenvolvimento de um relatório novo estava ficando
dilatado e por isso custo começou a crescer
• Quando as visões eram de interesses globais da empresa nós
desenvolvíamos e publicávamos no sistema
• Entretanto quando tratava-se de uma demanda específica nós adotamos
a ferramenta PowerBI para publicação dos relatórios.