Inteligência Operacional utilizando a solução Elastic.

826 visualizações

Publicada em

Veja a Palestra sobre solução Elastic que realizamos no evento FISL16, o maior evento de Software Livre do Brasil

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
826
No SlideShare
0
A partir de incorporações
0
Número de incorporações
340
Ações
Compartilhamentos
0
Downloads
6
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Inteligência Operacional utilizando a solução Elastic.

  1. 1. Inteligência Operacional utilizando a solução
  2. 2. Palestrantes: Ronaldo Wanzeller Formado em Web design e programação,UNISUL, e Pós-graduado em Coordenação de Projetos de TI. Dinâmico, autodidata, empreendedor. Meus hobbies são motociclismo, e viagem em família.
  3. 3. Palestrantes: Rodrigo Tornis Graduado em Redes de Computadores Pós-Graduado em Segurança Pós-Graduando em Business Intelligence Gerente de Tecnologia na 4Linux Profissional de TI desde 1996 Entusiasta em tecnologias de BigData e DataScience.
  4. 4. Sobre a CAIXA A vida pede mais que um banco ​Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço (FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego, institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de ajudar a população, através dos programas sociais do governo, como o Bolsa Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha Casa Minha Vida.
  5. 5. CAIXA e Software Livre ● + de 100 mil equipamentos em Linux (Desktop, Embarcados e Servidores) ● Disponibilizou para comunidade os códigos dos softwares Minuano, Curupira e Expresso Livre ● Adota o Expresso Livre como solução de correio para Parceiros e Terceirizados ● Utiliza outras soluções Open Source em diversas unidades ● Um dos maiores CASES com PostgreSQL - Multicanal
  6. 6. Agenda ● Contextualização do Problema ● Avaliação das soluções ● Solução Elastic – Nossa arquitetura ● Visibilidade do comportamento da infraestrutura ● Maturidade do Dados ● Futuro com a solução Elastic
  7. 7. Contextualização do Problema
  8. 8. Contextualização do Problema - TEMA ● Apresentar a experiência que a equipe de correio eletrônico da CAIXA vem ganhando com a adoção da solução Elastic.
  9. 9. Contextualização do Problema – cont. ● Retenção de apenas 15 dias de logs para consulta ● Demora durante o rastreio de logs de mensagens ● Ação reativa a incidentes ● Medições e volumetria parcial ou inexistente ● Analise em tempo real do ambiente ● Uso indevido ou incorreto do canal
  10. 10. Contextualização do Problema – cont. O que queremos? ● Armazenar informações de 2,5 milhões de mensagens por dia ● Possibilidade de coleta de logs/dados de qualquer origem ● Realizar buscas em milhões de dados de forma rápida ● Gerar gráficos estatísticos em tempo real ● Agir proativamente a incidentes inibindo o mau uso do canal ● Realizar medições e volumetria em tempo real
  11. 11. Avaliação das Soluções
  12. 12. Avaliação das Soluções ● Inicialmente armazenar em SGBD:
  13. 13. Avaliação das Soluções – cont. ● Foi bem até um certo tempo... ● … mas ficou inviável após o aumento das informações a serem armazenadas e a adição de mais servidores para serem monitorados.
  14. 14. Avaliação das Soluções – cont. ● Qual solução?
  15. 15. Avaliação das Soluções – cont. Todas as soluções citadas atendiam a necessidade porém foi percebido alguns impeditivos como: ● Curva de aprendizado é alta em boa parte das soluções propostas ● Inexistência de interface pronta ou parcialmente funcional para consultas e geração de gráficos ou analise estatísticas ● Algumas das soluções necessitam de muitos recursos computacionais ● Nossa equipe pouco Know-how em desenvolvimento ● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação
  16. 16. Avaliação das Soluções – cont. ● Qual solução?
  17. 17. Avaliação das Soluções – cont. ● Porque? ● Simples para implementar ● Simples para escalar ● Solução atende de ponta a ponta (coleta, tratamento, armazenamento e visualização) ● Curva de aprendizado baixa e rápida para a equipe
  18. 18. Solução Elastic Nossa arquitetura
  19. 19. Solução Elastic – Nossa arquitetura ● Composta por três ferramentas:
  20. 20. Solução Elastic – Nossa arquitetura ● Em 2015 criou-se uma única solução denominada:
  21. 21. Solução Elastic – Nossa arquitetura – cont. ● Motivação em usar a solução. Quem usa o Elastic? Fonte: https://www.elastic.co/use-cases
  22. 22. Solução Elastic – Nossa arquitetura – cont. Nossa estrutura em números: ● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA ● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e parceiros ● 2 Servidores Postfix para mensagens de Aplicações ● 2,5 milhões de mensagens trafegadas por dia ● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia
  23. 23. Solução Elastic – Nossa arquitetura – cont. ● Nossa estrutura POSTFIX
  24. 24. Solução Elastic – Nossa arquitetura – cont. ● Nossa estrutura em detalhes POSTFIX Cluster
  25. 25. Visibilidade do comportamento da infraestrutura
  26. 26. Visibilidade do comportamento da infraestrutura
  27. 27. Visibilidade do comportamento da infraestrutura - cont
  28. 28. Visibilidade do comportamento da infraestrutura - cont
  29. 29. Visibilidade do comportamento da infraestrutura - cont
  30. 30. Visibilidade do comportamento da infraestrutura - cont
  31. 31. Visibilidade do comportamento da infraestrutura – cont. Ganhos com a adoção do Elastic: ● Visão em tempo real do ambiente de correio eletrônico ● Proatividade e rapidez na identificação de incidentes ou uso indevido do canal ● Medição e Volumetria ● Pesquisa em volume gigantesco de dados com resultados rápidos
  32. 32. Visibilidade do comportamento da infraestrutura – cont. Ganhos com a adoção do Elastic: ● Comparar e correlacionar informações em plataformas distintas (Comercial e Livre) ● Aumento de 15 para 90 dias a retenção de logs (dados disponíveis para consulta) ● Armazenamento centralizado de aproximadamente 600 milhões de linhas de logs (média de 20 milhões dia)
  33. 33. Maturidade dos Dados
  34. 34. Maturidade dos Dados Com a visão do ambiente passamos a questionar: ● O que deve ser de fato armazenado? Qual o SIZE que preciso ter para armazenar essas mensagens? Estamos estimando bem? ● Como identificar de forma automatizada mensagens que não tem nenhum sentido para o negócio? ● Como inibir de forma automatizada que aplicações realizem testes de envio em produção?
  35. 35. Maturidade dos Dados – cont. Do ponto de vista negocial: ● Como inibir de forma automatizada mensagens de cunho pejorativo, homofóbico, político/partidário ou pornográfico? ● Esse tipo de informação deveria estar em um portal (ou qualquer outro canal de comunicação) e não em um e- mail
  36. 36. Futuro com a solução Elastic
  37. 37. Futuro com a solução Elastic ● Medição e volumetria de mailboxes ● Analise de trafego de usuários e agências ● Geo-referenciamento de agências e unidades ● Analise e identificação de fraude e falhas em caixas eletrônicos e terminais lotéricos ● Estender para outros departamentos da CAIXA
  38. 38. Futuro com a solução Elastic ● Projeto de analise de logs OpenLDAP ● 99 milhões de linhas de logs/dia ● Projeto portais de intranet CAIXA ● Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint ● Projeto GSC ● Monitorar abertura de chamados entre CAIXA e fornecedor ● Projeto GIICP ● Monitorar ciclo de vida de emissão de certificados digitais ● Pro-atividade em ataques no ambiente de emissão de certificados
  39. 39. Futuro com a solução Elastic ● Predição e Classificação utilizando:
  40. 40. Perguntas?
  41. 41. Obrigado!

×