SlideShare uma empresa Scribd logo
1 de 27
O que aprendi desenvolvendo um BI dentro de uma instituição financeira
Mateus Lopes
• Bacharel em Ciência da Computação pela Universidade Federal da Bahia
• MBA em Gestão da Informação e Business Intelligence pela UNIFACS
• CTO da Everest Tecnologia da Informação
Como uma instituição financeira funciona?
• Diversos produtos financeiros são oferecidos aos clientes, cada um com
sua natureza e diferentes formas de rentabilizar
• Os produtos consumidos pelos clientes geram rebates financeiros que
remuneram a empresa (algo como uma comissão a um vendedor)
• O Banco Central e a CVM (Comissão de Valores Mobiliários)
regulamentam o mercado financeiro e realizam auditorias periódicas na
instituição.
E que produtos são esses?
• CVM
• AdministradorasFundos de investimentos
• CVM
• SeguradorasPrevidência privada
• Tesouro NacionalTesouro Direto
• Bancos privados (CDB, LCI, LCA)Produtos de renda fixa
• AnbimaTítulos Públicos
• AnbimaDebêntures
Como esses produtos são rentabilizados?
• Fundos de investimentos
• Os fundos ficam registrados na CVM
• Os clientes aplicam e resgatam as cotas. Quem gerencia é a administradora.
• Diariamente a CVM publica as cotas dos fundos via WebService
• Previdência Privada
• São fundos com regulações específicas
• Quem gerencia as aplicações e os resgates é a seguradora.
Como esses produtos são rentabilizados?
• Tesouro Direto
• São títulos emitidos pelo Tesouro Nacional
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site do Tesouro Nacional publica as PU’s dos títulos em
planilhas.
• Renda Fixa
• São títulos emitidos por Bancos Privados
• São indexados a índices do mercado (como CDI e inflação) ou prefixados.
• Diariamente as rentabilidades dos índices são publicadas via WebService do
Banco Central.
Como esses produtos são rentabilizados?
• Títulos Públicos
• São títulos emitidos pelo Tesouro Nacional
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site da Anbima (Associação Brasileira das Entidades dos
Mercados Financeiro e de Capitais) publica as PU’s dos títulos em arquivos.
• Debêntures
• São títulos emitidos por empresas privadas para financiar suas dívidas
• Os clientes compram e vendem PU’s (preços unitários)
• Diariamente o site da Anbima (Associação Brasileira das Entidades dos
Mercados Financeiro e de Capitais) publica as PU’s das debêntures em
arquivos
O consultor financeiro
• É o profissional que realiza o atendimento ao cliente:
• Análise da situação atual dos investimentos dos clientes
• Elaboração de carteiras que atendam às expectativas dos clientes
• Acompanham os processos de aplicação e resgate
• É o “personal banker” dos clientes
O consultor financeiro
Desafio inicial
• Diversos clientes com diversos produtos financeiros
• Dificuldade de centralizar as informações
• Cada parceiro tinha uma forma diferente de publicar os dados
• Necessidade de prover ao cliente acesso aos seus produtos
• Rentabilidade dos produtos
• Rentabilidade da carteira
• Necessidade de gerar relatórios gerenciais sobre o patrimônio gerido,
separando por filiais, consultores, etc.
Desafio inicial
Séries temporais
Outras
fontes
Banco
Central
CVM
Produtos dos clientes
Sistemas
parceiros
Seguradoras
Administradoras
Desenvolver in house ou contratar
ferramentas de BI externas?
• As regras de cotização de ativos (produtos) são complexas e variam
muito de produto a produto;
• As ferramentas de BI do mercado não nos daria a flexibilidade necessária
para a cotização das carteiras;
• Tínhamos a expectativa de criar um produto próprio: um BI voltado para
o mercado financeiro. Nesse aspecto levantar um sistema em cima de
outra plataforma nos tiraria a autonomia.
Qual a arquitetura do sistema?
• Apartamos o banco de dados relacional do BI e realizamos os cálculos de
rentabilidade na etapa de ETL;
• Construímos um robô para cada parceiro que publicava os dados de
seus respectivos produtos;
• Projetamos cubos direcionados para cada análise que desejávamos
realizar:
• Patrimônio total sob gestão da instituição financeira
• NET – saldo entre aplicações e resgates
• Financeiro – rebate gerado pelos produtos financeiros dos clientes
ETL – Extract, Transform and Loading
Fundos
Previdência
Tesouro
Direto
...
Rentabilidade dia a dia
ETL – Extract, Transform and Loading
Rentabilidade mês a mês
Rentabilidade dia a dia
Relatórios gerenciais
Principais Cubos
Fato: Patrimônio mês a mês Fato: Patrimônio atual Fato: Rebate Financeiro
Tabela de Dimensões
Quais dados estão na tabela de dimensões
• Surrogate key: cada registro indica uma única aplicação de um cliente
em um produto financeiro
• Dados básicos do cliente
• Assessor/Filial
• Consultor
• ID e Nome dos produtos financeiros (fundos, títulos, etc.)
• Classificação de risco (conservador, moderado, arrojado)
• Etc.
Modelagem clássica x Modelagem adotada
Dimensão
Fato A
Fato B
Fato B
Artefatos de banco de dados
• Para a etapa de ETL: Procedures
• Cálculo de cotização das carteiras: Procedures
• Para a leitura dos dados para relatórios: Functions
• Acesso aos dados dos bancos relacionais: Views
• Controle de transação
• Nível de isolamento
• Índices, índices e mais índices
Testes automatizados no BI
• Complexidade dos cruzamentos dos dados
• Alto requisito de confiabilidade dos dados extraídos
• Os testes deveriam garantir que as regras de cotização dos ativos bem
como a extração dos seus dados estivessem sempre corretas
• Proteção para os programadores que alterassem procedures e functions
Testes automatizados no BI
• Criamos um banco de homologação apartado do de produção
• No banco relacional criamos diversas situações que refletissem os
clientes em produção:
• Cliente com todos os tipos produtos na carteira
• Cliente com duas previdências
• Cliente que realizou resgate parcial ou total
• Cliente que aplicou duas vezes no mesmo fundo em datas distintas
• Etc.
• Para cada visão do cubo cobrimos de testes para os clientes simulados
• Hoje os testes do BI possuem mais de 1500 verificações
Testes automatizados no BI
Visões específicas/customizadas dos cubos
• Com o passar do tempo diversas demandas por novas visões dos cubos
que o sistema não contemplava começaram a surgir
• O tempo de desenvolvimento de um relatório novo estava ficando
dilatado e por isso custo começou a crescer
• Quando as visões eram de interesses globais da empresa nós
desenvolvíamos e publicávamos no sistema
• Entretanto quando tratava-se de uma demanda específica nós adotamos
a ferramenta PowerBI para publicação dos relatórios.
Tecnologias utilizadas
E ai? Podemos dar uma olhada no resultado
disso tudo???
Muito obrigado!
www.everestti.com.br
Mateus Lopes
Salvador, Novembro
2016
mateus.lopes@everestti.com.br

Mais conteúdo relacionado

Semelhante a O que aprendi desenvolvendo um bi dentro de uma instituição financeira

Fundamentos da Técnica Business Model Generation
Fundamentos da Técnica Business Model GenerationFundamentos da Técnica Business Model Generation
Fundamentos da Técnica Business Model Generationauspin
 
Banco (Excel) Econômico
Banco (Excel) EconômicoBanco (Excel) Econômico
Banco (Excel) EconômicoChiaki Lisboa
 
Viabilização de uma ideia - Modelo de Negócio
Viabilização de uma ideia - Modelo de NegócioViabilização de uma ideia - Modelo de Negócio
Viabilização de uma ideia - Modelo de NegócioHenrique Centieiro
 
5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerceJET e-Commerce
 
5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerceMILLENNIUM NETWORK®
 
Apresentação Sistema Para o Comércio
Apresentação Sistema Para o ComércioApresentação Sistema Para o Comércio
Apresentação Sistema Para o ComércioSergio Budian
 
Apresentação e-Millennium ERP para e-Commerce 2016
Apresentação e-Millennium ERP para e-Commerce 2016Apresentação e-Millennium ERP para e-Commerce 2016
Apresentação e-Millennium ERP para e-Commerce 2016MILLENNIUM NETWORK®
 
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...Como a gestão de sua loja virtual pode influenciar na experiência de compra d...
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...Samuel Gonsales
 
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014Sthefan Berwanger
 
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di Giorgi
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di GiorgiEntrada das grandes marcas com vendas diretas ao consumidor - Fernando Di Giorgi
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di GiorgiE-Commerce Brasil
 
Apresentação Sistema para o Comércio
Apresentação Sistema para o ComércioApresentação Sistema para o Comércio
Apresentação Sistema para o ComércioSergio Budian
 
Apresentação Comercial e-Millennium 2017
Apresentação Comercial e-Millennium 2017Apresentação Comercial e-Millennium 2017
Apresentação Comercial e-Millennium 2017MILLENNIUM NETWORK®
 

Semelhante a O que aprendi desenvolvendo um bi dentro de uma instituição financeira (20)

Business eye 360º PT
Business eye 360º PTBusiness eye 360º PT
Business eye 360º PT
 
Fundamentos da Técnica Business Model Generation
Fundamentos da Técnica Business Model GenerationFundamentos da Técnica Business Model Generation
Fundamentos da Técnica Business Model Generation
 
ERP para Comércio ITSoftin
ERP para Comércio ITSoftin ERP para Comércio ITSoftin
ERP para Comércio ITSoftin
 
Banco (Excel) Econômico
Banco (Excel) EconômicoBanco (Excel) Econômico
Banco (Excel) Econômico
 
modelos de negocios.ppt
modelos de negocios.pptmodelos de negocios.ppt
modelos de negocios.ppt
 
Viabilização de uma ideia - Modelo de Negócio
Viabilização de uma ideia - Modelo de NegócioViabilização de uma ideia - Modelo de Negócio
Viabilização de uma ideia - Modelo de Negócio
 
5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce
 
5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce5 lições-chave para aumentar a rentabilidade de seu e-commerce
5 lições-chave para aumentar a rentabilidade de seu e-commerce
 
7mobb
7mobb7mobb
7mobb
 
Plano de finanças 2012_01
Plano de finanças 2012_01Plano de finanças 2012_01
Plano de finanças 2012_01
 
7mobb
7mobb7mobb
7mobb
 
Apresentação Sistema Para o Comércio
Apresentação Sistema Para o ComércioApresentação Sistema Para o Comércio
Apresentação Sistema Para o Comércio
 
Apresentação e-Millennium ERP para e-Commerce 2016
Apresentação e-Millennium ERP para e-Commerce 2016Apresentação e-Millennium ERP para e-Commerce 2016
Apresentação e-Millennium ERP para e-Commerce 2016
 
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...Como a gestão de sua loja virtual pode influenciar na experiência de compra d...
Como a gestão de sua loja virtual pode influenciar na experiência de compra d...
 
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014
Como integrar o ambiente digital à estratégia de negócios - ProXXIma 2014
 
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di Giorgi
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di GiorgiEntrada das grandes marcas com vendas diretas ao consumidor - Fernando Di Giorgi
Entrada das grandes marcas com vendas diretas ao consumidor - Fernando Di Giorgi
 
Direttor CRM
Direttor CRMDirettor CRM
Direttor CRM
 
A Torre de Controle do e-Commerce
A Torre de Controle do e-CommerceA Torre de Controle do e-Commerce
A Torre de Controle do e-Commerce
 
Apresentação Sistema para o Comércio
Apresentação Sistema para o ComércioApresentação Sistema para o Comércio
Apresentação Sistema para o Comércio
 
Apresentação Comercial e-Millennium 2017
Apresentação Comercial e-Millennium 2017Apresentação Comercial e-Millennium 2017
Apresentação Comercial e-Millennium 2017
 

O que aprendi desenvolvendo um bi dentro de uma instituição financeira

  • 1. O que aprendi desenvolvendo um BI dentro de uma instituição financeira
  • 2. Mateus Lopes • Bacharel em Ciência da Computação pela Universidade Federal da Bahia • MBA em Gestão da Informação e Business Intelligence pela UNIFACS • CTO da Everest Tecnologia da Informação
  • 3. Como uma instituição financeira funciona? • Diversos produtos financeiros são oferecidos aos clientes, cada um com sua natureza e diferentes formas de rentabilizar • Os produtos consumidos pelos clientes geram rebates financeiros que remuneram a empresa (algo como uma comissão a um vendedor) • O Banco Central e a CVM (Comissão de Valores Mobiliários) regulamentam o mercado financeiro e realizam auditorias periódicas na instituição.
  • 4. E que produtos são esses? • CVM • AdministradorasFundos de investimentos • CVM • SeguradorasPrevidência privada • Tesouro NacionalTesouro Direto • Bancos privados (CDB, LCI, LCA)Produtos de renda fixa • AnbimaTítulos Públicos • AnbimaDebêntures
  • 5. Como esses produtos são rentabilizados? • Fundos de investimentos • Os fundos ficam registrados na CVM • Os clientes aplicam e resgatam as cotas. Quem gerencia é a administradora. • Diariamente a CVM publica as cotas dos fundos via WebService • Previdência Privada • São fundos com regulações específicas • Quem gerencia as aplicações e os resgates é a seguradora.
  • 6. Como esses produtos são rentabilizados? • Tesouro Direto • São títulos emitidos pelo Tesouro Nacional • Os clientes compram e vendem PU’s (preços unitários) • Diariamente o site do Tesouro Nacional publica as PU’s dos títulos em planilhas. • Renda Fixa • São títulos emitidos por Bancos Privados • São indexados a índices do mercado (como CDI e inflação) ou prefixados. • Diariamente as rentabilidades dos índices são publicadas via WebService do Banco Central.
  • 7. Como esses produtos são rentabilizados? • Títulos Públicos • São títulos emitidos pelo Tesouro Nacional • Os clientes compram e vendem PU’s (preços unitários) • Diariamente o site da Anbima (Associação Brasileira das Entidades dos Mercados Financeiro e de Capitais) publica as PU’s dos títulos em arquivos. • Debêntures • São títulos emitidos por empresas privadas para financiar suas dívidas • Os clientes compram e vendem PU’s (preços unitários) • Diariamente o site da Anbima (Associação Brasileira das Entidades dos Mercados Financeiro e de Capitais) publica as PU’s das debêntures em arquivos
  • 8. O consultor financeiro • É o profissional que realiza o atendimento ao cliente: • Análise da situação atual dos investimentos dos clientes • Elaboração de carteiras que atendam às expectativas dos clientes • Acompanham os processos de aplicação e resgate • É o “personal banker” dos clientes
  • 10. Desafio inicial • Diversos clientes com diversos produtos financeiros • Dificuldade de centralizar as informações • Cada parceiro tinha uma forma diferente de publicar os dados • Necessidade de prover ao cliente acesso aos seus produtos • Rentabilidade dos produtos • Rentabilidade da carteira • Necessidade de gerar relatórios gerenciais sobre o patrimônio gerido, separando por filiais, consultores, etc.
  • 11. Desafio inicial Séries temporais Outras fontes Banco Central CVM Produtos dos clientes Sistemas parceiros Seguradoras Administradoras
  • 12. Desenvolver in house ou contratar ferramentas de BI externas? • As regras de cotização de ativos (produtos) são complexas e variam muito de produto a produto; • As ferramentas de BI do mercado não nos daria a flexibilidade necessária para a cotização das carteiras; • Tínhamos a expectativa de criar um produto próprio: um BI voltado para o mercado financeiro. Nesse aspecto levantar um sistema em cima de outra plataforma nos tiraria a autonomia.
  • 13. Qual a arquitetura do sistema? • Apartamos o banco de dados relacional do BI e realizamos os cálculos de rentabilidade na etapa de ETL; • Construímos um robô para cada parceiro que publicava os dados de seus respectivos produtos; • Projetamos cubos direcionados para cada análise que desejávamos realizar: • Patrimônio total sob gestão da instituição financeira • NET – saldo entre aplicações e resgates • Financeiro – rebate gerado pelos produtos financeiros dos clientes
  • 14. ETL – Extract, Transform and Loading Fundos Previdência Tesouro Direto ... Rentabilidade dia a dia
  • 15. ETL – Extract, Transform and Loading Rentabilidade mês a mês Rentabilidade dia a dia Relatórios gerenciais
  • 16. Principais Cubos Fato: Patrimônio mês a mês Fato: Patrimônio atual Fato: Rebate Financeiro Tabela de Dimensões
  • 17. Quais dados estão na tabela de dimensões • Surrogate key: cada registro indica uma única aplicação de um cliente em um produto financeiro • Dados básicos do cliente • Assessor/Filial • Consultor • ID e Nome dos produtos financeiros (fundos, títulos, etc.) • Classificação de risco (conservador, moderado, arrojado) • Etc.
  • 18. Modelagem clássica x Modelagem adotada Dimensão Fato A Fato B Fato B
  • 19. Artefatos de banco de dados • Para a etapa de ETL: Procedures • Cálculo de cotização das carteiras: Procedures • Para a leitura dos dados para relatórios: Functions • Acesso aos dados dos bancos relacionais: Views • Controle de transação • Nível de isolamento • Índices, índices e mais índices
  • 20. Testes automatizados no BI • Complexidade dos cruzamentos dos dados • Alto requisito de confiabilidade dos dados extraídos • Os testes deveriam garantir que as regras de cotização dos ativos bem como a extração dos seus dados estivessem sempre corretas • Proteção para os programadores que alterassem procedures e functions
  • 21. Testes automatizados no BI • Criamos um banco de homologação apartado do de produção • No banco relacional criamos diversas situações que refletissem os clientes em produção: • Cliente com todos os tipos produtos na carteira • Cliente com duas previdências • Cliente que realizou resgate parcial ou total • Cliente que aplicou duas vezes no mesmo fundo em datas distintas • Etc. • Para cada visão do cubo cobrimos de testes para os clientes simulados • Hoje os testes do BI possuem mais de 1500 verificações
  • 23. Visões específicas/customizadas dos cubos • Com o passar do tempo diversas demandas por novas visões dos cubos que o sistema não contemplava começaram a surgir • O tempo de desenvolvimento de um relatório novo estava ficando dilatado e por isso custo começou a crescer • Quando as visões eram de interesses globais da empresa nós desenvolvíamos e publicávamos no sistema • Entretanto quando tratava-se de uma demanda específica nós adotamos a ferramenta PowerBI para publicação dos relatórios.
  • 24.
  • 26. E ai? Podemos dar uma olhada no resultado disso tudo???
  • 27. Muito obrigado! www.everestti.com.br Mateus Lopes Salvador, Novembro 2016 mateus.lopes@everestti.com.br