Este documento descreve a adoção da solução Elastic pela CAIXA para monitoramento e análise de logs de correio eletrônico. A solução Elastic fornece visibilidade em tempo real do ambiente de email, permitindo a identificação rápida de incidentes e uso indevido. Ela também possibilita armazenar e pesquisar grandes volumes de dados de forma rápida. A CAIXA planeja expandir o uso da solução Elastic para outros sistemas como OpenLDAP e portais internos.
2. Palestrantes:
Ronaldo Wanzeller
Formado em Web design e
programação,UNISUL, e Pós-graduado
em Coordenação de Projetos de TI.
Dinâmico, autodidata, empreendedor.
Meus hobbies são motociclismo, e
viagem em família.
3. Palestrantes:
Rodrigo Tornis
Graduado em Redes de Computadores
Pós-Graduado em Segurança
Pós-Graduando em Business Intelligence
Gerente de Tecnologia na 4Linux
Profissional de TI desde 1996
Entusiasta em tecnologias de BigData e
DataScience.
4. Sobre a CAIXA
A vida pede mais que um banco
Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um
banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela
é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço
(FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego,
institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de
ajudar a população, através dos programas sociais do governo, como o Bolsa
Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha
Casa Minha Vida.
5. CAIXA e Software Livre
●
+ de 100 mil equipamentos em Linux (Desktop, Embarcados e
Servidores)
●
Disponibilizou para comunidade os códigos dos softwares
Minuano, Curupira e Expresso Livre
●
Adota o Expresso Livre como solução de correio para Parceiros e
Terceirizados
● Utiliza outras soluções Open Source em diversas unidades
●
Um dos maiores CASES com PostgreSQL - Multicanal
6. Agenda
● Contextualização do Problema
● Avaliação das soluções
● Solução Elastic – Nossa arquitetura
● Visibilidade do comportamento da infraestrutura
● Maturidade do Dados
● Futuro com a solução Elastic
8. Contextualização do Problema - TEMA
● Apresentar a experiência que a equipe de correio
eletrônico da CAIXA vem ganhando com a adoção da
solução Elastic.
9. Contextualização do Problema – cont.
● Retenção de apenas 15 dias de logs para consulta
● Demora durante o rastreio de logs de mensagens
● Ação reativa a incidentes
● Medições e volumetria parcial ou inexistente
● Analise em tempo real do ambiente
● Uso indevido ou incorreto do canal
10. Contextualização do Problema – cont.
O que queremos?
●
Armazenar informações de 2,5 milhões de mensagens por dia
●
Possibilidade de coleta de logs/dados de qualquer origem
●
Realizar buscas em milhões de dados de forma rápida
●
Gerar gráficos estatísticos em tempo real
●
Agir proativamente a incidentes inibindo o mau uso do canal
●
Realizar medições e volumetria em tempo real
13. Avaliação das Soluções – cont.
● Foi bem até um certo tempo...
● … mas ficou inviável após o aumento das informações a
serem armazenadas e a adição de mais servidores para
serem monitorados.
15. Avaliação das Soluções – cont.
Todas as soluções citadas atendiam a necessidade porém foi
percebido alguns impeditivos como:
● Curva de aprendizado é alta em boa parte das soluções propostas
●
Inexistência de interface pronta ou parcialmente funcional para consultas e
geração de gráficos ou analise estatísticas
● Algumas das soluções necessitam de muitos recursos computacionais
● Nossa equipe pouco Know-how em desenvolvimento
● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação
17. Avaliação das Soluções – cont.
●
Porque?
● Simples para implementar
● Simples para escalar
● Solução atende de ponta a ponta (coleta, tratamento,
armazenamento e visualização)
● Curva de aprendizado baixa e rápida para a equipe
19. Solução Elastic – Nossa arquitetura
● Composta por três ferramentas:
20. Solução Elastic – Nossa arquitetura
● Em 2015 criou-se uma única solução denominada:
21. Solução Elastic – Nossa arquitetura – cont.
● Motivação em usar a solução. Quem usa o Elastic?
Fonte: https://www.elastic.co/use-cases
22. Solução Elastic – Nossa arquitetura – cont.
Nossa estrutura em números:
● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA
● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e
parceiros
● 2 Servidores Postfix para mensagens de Aplicações
● 2,5 milhões de mensagens trafegadas por dia
● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia
31. Visibilidade do comportamento da
infraestrutura – cont.
Ganhos com a adoção do Elastic:
● Visão em tempo real do ambiente de correio eletrônico
● Proatividade e rapidez na identificação de incidentes ou uso
indevido do canal
● Medição e Volumetria
● Pesquisa em volume gigantesco de dados com resultados
rápidos
32. Visibilidade do comportamento da
infraestrutura – cont.
Ganhos com a adoção do Elastic:
● Comparar e correlacionar informações em plataformas
distintas (Comercial e Livre)
● Aumento de 15 para 90 dias a retenção de logs (dados
disponíveis para consulta)
● Armazenamento centralizado de aproximadamente 600
milhões de linhas de logs (média de 20 milhões dia)
34. Maturidade dos Dados
Com a visão do ambiente passamos a questionar:
● O que deve ser de fato armazenado? Qual o SIZE que preciso
ter para armazenar essas mensagens? Estamos estimando bem?
● Como identificar de forma automatizada mensagens que não
tem nenhum sentido para o negócio?
● Como inibir de forma automatizada que aplicações realizem
testes de envio em produção?
35. Maturidade dos Dados – cont.
Do ponto de vista negocial:
● Como inibir de forma automatizada mensagens de
cunho pejorativo, homofóbico, político/partidário ou
pornográfico?
● Esse tipo de informação deveria estar em um portal (ou
qualquer outro canal de comunicação) e não em um e-
mail
37. Futuro com a solução Elastic
● Medição e volumetria de mailboxes
● Analise de trafego de usuários e agências
● Geo-referenciamento de agências e unidades
● Analise e identificação de fraude e falhas em caixas
eletrônicos e terminais lotéricos
● Estender para outros departamentos da CAIXA
38. Futuro com a solução Elastic
●
Projeto de analise de logs OpenLDAP
●
99 milhões de linhas de logs/dia
●
Projeto portais de intranet CAIXA
●
Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint
●
Projeto GSC
●
Monitorar abertura de chamados entre CAIXA e fornecedor
●
Projeto GIICP
●
Monitorar ciclo de vida de emissão de certificados digitais
●
Pro-atividade em ataques no ambiente de emissão de certificados
39. Futuro com a solução Elastic
● Predição e Classificação utilizando: