CASE: O POSTGRESQL EM BI
Milhares de operações diárias consolidadas "near-real-time"
PGDay Campinas 2014 www.object.com.br...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Roteiro
 Apresentação da empresa d...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Requisitos do projeto de BI
 Aumen...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Origem dos dados
 Cadastros (ERP)
...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
 Primeira te...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
PGDay Campina...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
 Segunda ten...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
 Terceira te...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
 Modelo desn...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Modelo de dados do BI
 Tabelas: 63...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
 Fatores para deci...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
 2012 a 2013 – Ora...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Escolha do SGBD
 Algum receio em u...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
 100% de satisfação
 U...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PostgreSQL
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
 O ...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
 A ...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
 Mo...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Classe customizada
OBJECTMMRS
PGDay...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Classe customizada
OBJECTMMRS
PGDay...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDa...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDa...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologia Integração de dados
PGDa...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Tecnologias usadas
 Banco de dados...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
 Totais de vendas acumu...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Resultados
PGDay Campinas 2014 www....
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
Futuro
 O volume de dados sendo ar...
CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time"
PGDAY Campinas 2014
 Questões / Co...
Próximos SlideShares
Carregando em…5
×

CASE: O PostgreSQL em BI: Milhares de operações diárias consolidadas em "near-real-time"

835 visualizações

Publicada em

Publicada em: Software
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
835
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
28
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

CASE: O PostgreSQL em BI: Milhares de operações diárias consolidadas em "near-real-time"

  1. 1. CASE: O POSTGRESQL EM BI Milhares de operações diárias consolidadas "near-real-time" PGDay Campinas 2014 www.object.com.br 1 Wagner Correa Ramos Anderson Massaharu Shibata
  2. 2. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Roteiro  Apresentação da empresa do “CASE”  Requisitos do projeto de BI  Origem dos dados  Modelo de dados do BI  Escolha do SGBD (PostgreSQL)  Tecnologia para a integração dos dados  Tecnologias usadas  Resultados  Futuro PGDay Campinas 2014 www.object.com.br 2
  3. 3. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Requisitos do projeto de BI  Aumentar velocidade da informação para a prevenção de problemas  Disponibilidade destas informações dentro e fora da empresa  Foco em qualidade dos dados  Usabilidade  Dados para futuras pesquisas PGDay Campinas 2014 www.object.com.br 3
  4. 4. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Origem dos dados  Cadastros (ERP)  Vendas  PDV (MySQL)  ERP (PostgreSQL)  Compras (ERP)  Despesas (ERP)  Metas (Excel)  Vendas, Compras, Despesas  RH (WS) PGDay Campinas 2014 www.object.com.br 4
  5. 5. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Primeira tentativa  Compras e Vendas: Tabela única com totais por loja, mercadoria, ano, mes, dia e hora  Problema de desempenho nas consultas e na qualidade dos dados PGDay Campinas 2014 www.object.com.br 5
  6. 6. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI PGDay Campinas 2014 www.object.com.br 6
  7. 7. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Segunda tentativa  Compras e Vendas, ainda juntos mas com 3 tabelas (hora/dia/mês)  Melhor desempenho nas consultas  Ainda problemas na qualidade dos dados PGDay Campinas 2014 www.object.com.br 7
  8. 8. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Terceira tentativa  Nas 2 tentativas iniciais faziamos a totalização durante a replicação dos dados dos PDVs para o BI  Na terceira criamos no BI as tabelas de cupons e itens de cupons de venda  Simplificação das transformações necessárias nos dados entre PDVs e BI  Qualidade dos dados 100% PGDay Campinas 2014 www.object.com.br 8
  9. 9. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Modelo desnormalizado x normalizado  Desempenho de consultas  Facilidade de consultas  Manutenção do correto histórico dos dados em consultas retroativas  Problema do reaproveitamento de “IDs” PGDay Campinas 2014 www.object.com.br 9
  10. 10. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Modelo de dados do BI  Tabelas: 63 – Views: 4  Volume atual de dados (6/set/14)  mercadoria: 439.033  cupom: 9.279.743 (jan/14)  cupom_item: 33.713.982 (jan/14)  mercadoria_hora: 153.891.136 (mai/12)  mercadoria_dia: 58.523.056 (nov/12)  mercadoria_mes: 9.338.419 (nov/12)  mercadoria_estoque: 6.452.036 (mai/12) PGDay Campinas 2014 www.object.com.br 10
  11. 11. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Fatores para decisão  Ferramentas existentes para BI  Custo  Facilidade de uso  Equipe existente  Evolução  Gerenciadores considerados  Oracle  MS SQLServer  PostgreSQL  MySQL PGDay Campinas 2014 www.object.com.br 11
  12. 12. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  2012 a 2013 – Oracle e PostgreSQL  2014 – MySQL e PostgreSQL  Atual - PostgreSQL PGDay Campinas 2014 www.object.com.br 12
  13. 13. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Escolha do SGBD  Algum receio em usar um software open source como o PostgreSQL ? NÃO  A rede Shibata usa o PostgreSQL open source desde 2004 sem NUNCA parar por algum motivo de bug, etc, no software.  Alguma motivação para uso de versão comercial do PostgreSQL ? NÃO  Para ficar novamente dependente de uma única empresa ?  Melhor opção contratar suporte de empresa nacional especializada no PostgreSQL open source. PGDay Campinas 2014 www.object.com.br 13
  14. 14. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL  100% de satisfação  Uso de recursos avançados  Triggers e funções executando com excelente desempenho complexas regras de negócio  Regras de negócio que se implementadas em linguagem de programação ficariam inviáveis devido ao baixo desempenho PGDay Campinas 2014 www.object.com.br 14
  15. 15. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br 15
  16. 16. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br 16
  17. 17. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br 17
  18. 18. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PostgreSQL PGDay Campinas 2014 www.object.com.br 18
  19. 19. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  O principal requisito para o projeto de BI foi e continua sendo a alta velocidade na obtenção de informações consolidadas  Escolhemos então uma ferramenta para garantir a consolidação “near-real-time”  Outro requisito importante é a disponibilidade das informações dentro e fora da empresa PGDay Campinas 2014 www.object.com.br 19
  20. 20. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  A rede Shibata utiliza o software replicador OBJECTMMRS com objetivo de descentralização  No projeto BI o objetivo é praticamente o contrário, queremos a consolidação dos dados em um único servidor central PGDay Campinas 2014 www.object.com.br 20
  21. 21. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados  Motivos que levaram à escolha novamente do OBJECTMMRS  Compatível com outros SGBDs (Oracle, SQLServer, MySQL, etc)  Flexibilidade. Pode-se desenvolver classes java para realização de transformações de dados  Qualidade dos dados PGDay Campinas 2014 www.object.com.br 21
  22. 22. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014 www.object.com.br 22
  23. 23. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Classe customizada OBJECTMMRS PGDay Campinas 2014 www.object.com.br 23
  24. 24. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br 24
  25. 25. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br 25
  26. 26. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologia Integração de dados PGDay Campinas 2014 www.object.com.br 26
  27. 27. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Tecnologias usadas  Banco de dados: PostgreSQL 8.x e 9.x  Replicação e integração: OBJECTMMRS 6.x e 7.x  Interface Web do BI: PHP 5.4, Apache 2.2, HTML5  Webservices BI: Java, Jetty, Restlet  Desenvolvimento Mobile: Phonegap 3.5 PGDay Campinas 2014 www.object.com.br 27
  28. 28. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados  Totais de vendas acumulados e disponíveis para consultas “near-real- time”  Informações sobre compras também disponíveis “near-real-time”  BI além de mostrar resultados ajuda na prevenção de problemas (ruptura)  Informação disponível dentro e fora da empresa (online e/ou offline) PGDay Campinas 2014 www.object.com.br 28
  29. 29. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 29
  30. 30. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 30
  31. 31. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 31
  32. 32. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 32
  33. 33. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 33
  34. 34. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Resultados PGDay Campinas 2014 www.object.com.br 34
  35. 35. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" Futuro  O volume de dados sendo armazenado no banco BI é gigantesco. A cada ano mais de 100 milhões de novas linhas.  Cluster de Pg x Big Data  Data mining  Ferramenta para consultas/gráficos “ad- hoc” PGDay Campinas 2014 www.object.com.br 35
  36. 36. CASE: O POSTGRESQL EM BI - Milhares de operações diárias consolidadas "near-real-time" PGDAY Campinas 2014  Questões / Comentários  Obrigado a todos pela presença  Parabéns à Dextra pela organização do evento  Contato  contato@object.com.br  www.object.com.br  Principais projetos de replicação com OBJECTMMRS  TJAM, PRODAM, Exército Brasileiro, Shibata PGDay Campinas 2014 www.object.com.br 36

×