SlideShare uma empresa Scribd logo
1 de 41
Baixar para ler offline
Inteligência Operacional
utilizando a solução
Palestrantes:
Ronaldo Wanzeller
Formado em Web design e
programação,UNISUL, e Pós-graduado
em Coordenação de Projetos de TI.
Dinâmico, autodidata, empreendedor.
Meus hobbies são motociclismo, e
viagem em família.
Palestrantes:
Rodrigo Tornis
Graduado em Redes de Computadores
Pós-Graduado em Segurança
Pós-Graduando em Business Intelligence
Gerente de Tecnologia na 4Linux
Profissional de TI desde 1996
Entusiasta em tecnologias de BigData e
DataScience.
Sobre a CAIXA
A vida pede mais que um banco
​Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um
banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela
é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço
(FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego,
institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de
ajudar a população, através dos programas sociais do governo, como o Bolsa
Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha
Casa Minha Vida.
CAIXA e Software Livre
●
+ de 100 mil equipamentos em Linux (Desktop, Embarcados e
Servidores)
●
Disponibilizou para comunidade os códigos dos softwares
Minuano, Curupira e Expresso Livre
●
Adota o Expresso Livre como solução de correio para Parceiros e
Terceirizados
● Utiliza outras soluções Open Source em diversas unidades
●
Um dos maiores CASES com PostgreSQL - Multicanal
Agenda
● Contextualização do Problema
● Avaliação das soluções
● Solução Elastic – Nossa arquitetura
● Visibilidade do comportamento da infraestrutura
● Maturidade do Dados
● Futuro com a solução Elastic
Contextualização do
Problema
Contextualização do Problema - TEMA
● Apresentar a experiência que a equipe de correio
eletrônico da CAIXA vem ganhando com a adoção da
solução Elastic.
Contextualização do Problema – cont.
● Retenção de apenas 15 dias de logs para consulta
● Demora durante o rastreio de logs de mensagens
● Ação reativa a incidentes
● Medições e volumetria parcial ou inexistente
● Analise em tempo real do ambiente
● Uso indevido ou incorreto do canal
Contextualização do Problema – cont.
O que queremos?
●
Armazenar informações de 2,5 milhões de mensagens por dia
●
Possibilidade de coleta de logs/dados de qualquer origem
●
Realizar buscas em milhões de dados de forma rápida
●
Gerar gráficos estatísticos em tempo real
●
Agir proativamente a incidentes inibindo o mau uso do canal
●
Realizar medições e volumetria em tempo real
Avaliação das
Soluções
Avaliação das Soluções
● Inicialmente armazenar em SGBD:
Avaliação das Soluções – cont.
● Foi bem até um certo tempo...
● … mas ficou inviável após o aumento das informações a
serem armazenadas e a adição de mais servidores para
serem monitorados.
Avaliação das Soluções – cont.
● Qual solução?
Avaliação das Soluções – cont.
Todas as soluções citadas atendiam a necessidade porém foi
percebido alguns impeditivos como:
● Curva de aprendizado é alta em boa parte das soluções propostas
●
Inexistência de interface pronta ou parcialmente funcional para consultas e
geração de gráficos ou analise estatísticas
● Algumas das soluções necessitam de muitos recursos computacionais
● Nossa equipe pouco Know-how em desenvolvimento
● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação
Avaliação das Soluções – cont.
● Qual solução?
Avaliação das Soluções – cont.
●
Porque?
● Simples para implementar
● Simples para escalar
● Solução atende de ponta a ponta (coleta, tratamento,
armazenamento e visualização)
● Curva de aprendizado baixa e rápida para a equipe
Solução Elastic
Nossa arquitetura
Solução Elastic – Nossa arquitetura
● Composta por três ferramentas:
Solução Elastic – Nossa arquitetura
● Em 2015 criou-se uma única solução denominada:
Solução Elastic – Nossa arquitetura – cont.
● Motivação em usar a solução. Quem usa o Elastic?
Fonte: https://www.elastic.co/use-cases
Solução Elastic – Nossa arquitetura – cont.
Nossa estrutura em números:
● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA
● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e
parceiros
● 2 Servidores Postfix para mensagens de Aplicações
● 2,5 milhões de mensagens trafegadas por dia
● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia
Solução Elastic – Nossa arquitetura – cont.
●
Nossa estrutura
POSTFIX
Solução Elastic – Nossa arquitetura – cont.
●
Nossa estrutura em detalhes
POSTFIX
Cluster
Visibilidade do
comportamento da
infraestrutura
Visibilidade do comportamento da
infraestrutura
Visibilidade do comportamento da
infraestrutura - cont
Visibilidade do comportamento da
infraestrutura - cont
Visibilidade do comportamento da
infraestrutura - cont
Visibilidade do comportamento da
infraestrutura - cont
Visibilidade do comportamento da
infraestrutura – cont.
Ganhos com a adoção do Elastic:
● Visão em tempo real do ambiente de correio eletrônico
● Proatividade e rapidez na identificação de incidentes ou uso
indevido do canal
● Medição e Volumetria
● Pesquisa em volume gigantesco de dados com resultados
rápidos
Visibilidade do comportamento da
infraestrutura – cont.
Ganhos com a adoção do Elastic:
● Comparar e correlacionar informações em plataformas
distintas (Comercial e Livre)
● Aumento de 15 para 90 dias a retenção de logs (dados
disponíveis para consulta)
● Armazenamento centralizado de aproximadamente 600
milhões de linhas de logs (média de 20 milhões dia)
Maturidade dos
Dados
Maturidade dos Dados
Com a visão do ambiente passamos a questionar:
● O que deve ser de fato armazenado? Qual o SIZE que preciso
ter para armazenar essas mensagens? Estamos estimando bem?
● Como identificar de forma automatizada mensagens que não
tem nenhum sentido para o negócio?
● Como inibir de forma automatizada que aplicações realizem
testes de envio em produção?
Maturidade dos Dados – cont.
Do ponto de vista negocial:
● Como inibir de forma automatizada mensagens de
cunho pejorativo, homofóbico, político/partidário ou
pornográfico?
● Esse tipo de informação deveria estar em um portal (ou
qualquer outro canal de comunicação) e não em um e-
mail
Futuro com a solução
Elastic
Futuro com a solução Elastic
● Medição e volumetria de mailboxes
● Analise de trafego de usuários e agências
● Geo-referenciamento de agências e unidades
● Analise e identificação de fraude e falhas em caixas
eletrônicos e terminais lotéricos
● Estender para outros departamentos da CAIXA
Futuro com a solução Elastic
●
Projeto de analise de logs OpenLDAP
●
99 milhões de linhas de logs/dia
●
Projeto portais de intranet CAIXA
●
Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint
●
Projeto GSC
●
Monitorar abertura de chamados entre CAIXA e fornecedor
●
Projeto GIICP
●
Monitorar ciclo de vida de emissão de certificados digitais
●
Pro-atividade em ataques no ambiente de emissão de certificados
Futuro com a solução Elastic
● Predição e Classificação utilizando:
Perguntas?
Obrigado!

Mais conteúdo relacionado

Mais procurados

TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...
TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...
TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...tdc-globalcode
 
Intensive Delphi 2017 - E este tal de Redis hein?
Intensive Delphi 2017 - E este tal de Redis hein?Intensive Delphi 2017 - E este tal de Redis hein?
Intensive Delphi 2017 - E este tal de Redis hein?Mario Guedes
 
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...tdc-globalcode
 
Mercado e Carreira Linux e Open Source
Mercado e Carreira Linux e Open SourceMercado e Carreira Linux e Open Source
Mercado e Carreira Linux e Open SourceRicardo Prudenciato
 
TDC2017 | São Paulo - Trilha Rad: Delphi C++ How we figured out we had a SRE...
TDC2017 | São Paulo - Trilha Rad: Delphi C++  How we figured out we had a SRE...TDC2017 | São Paulo - Trilha Rad: Delphi C++  How we figured out we had a SRE...
TDC2017 | São Paulo - Trilha Rad: Delphi C++ How we figured out we had a SRE...tdc-globalcode
 
CodeIgniter 4 - Introdução
CodeIgniter 4 - IntroduçãoCodeIgniter 4 - Introdução
CodeIgniter 4 - IntroduçãoRafael Pinheiro
 
Ambiente de Desenvolvimento Linux
Ambiente de Desenvolvimento LinuxAmbiente de Desenvolvimento Linux
Ambiente de Desenvolvimento LinuxFernando Anselmo
 
BOT: Conversando com o seu sistema
BOT: Conversando com o seu sistemaBOT: Conversando com o seu sistema
BOT: Conversando com o seu sistemaMario Guedes
 
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...Lays Rodrigues
 
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escala
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escalaTDC - Técnicas e recursos para desenvolvimento web em cenários de grande escala
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escalaCleber Dantas
 
Code Igniter - O Framework php mais fácil e ágil
Code Igniter - O Framework php mais fácil e ágilCode Igniter - O Framework php mais fácil e ágil
Code Igniter - O Framework php mais fácil e ágilRafael Pinheiro
 
Mapa de aprendizado Front End
Mapa de aprendizado Front EndMapa de aprendizado Front End
Mapa de aprendizado Front EndCaio Vaccaro
 
Configurando aplicações em ambiente RedHat OpenShift através do Eclipse
Configurando aplicações em ambiente RedHat OpenShift através do EclipseConfigurando aplicações em ambiente RedHat OpenShift através do Eclipse
Configurando aplicações em ambiente RedHat OpenShift através do EclipseAlberlan Barros
 

Mais procurados (19)

TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...
TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...
TDC2016SP - Trilha Quebrando um monolítico J2EE, uma história de trás das tri...
 
Intensive Delphi 2017 - E este tal de Redis hein?
Intensive Delphi 2017 - E este tal de Redis hein?Intensive Delphi 2017 - E este tal de Redis hein?
Intensive Delphi 2017 - E este tal de Redis hein?
 
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
TDC2017 | Florianopolis - Trilha DevOps How we figured out we had a SRE team ...
 
Mercado e Carreira Linux e Open Source
Mercado e Carreira Linux e Open SourceMercado e Carreira Linux e Open Source
Mercado e Carreira Linux e Open Source
 
Drupal
DrupalDrupal
Drupal
 
Tcos Fisl
Tcos FislTcos Fisl
Tcos Fisl
 
TDC2017 | São Paulo - Trilha Rad: Delphi C++ How we figured out we had a SRE...
TDC2017 | São Paulo - Trilha Rad: Delphi C++  How we figured out we had a SRE...TDC2017 | São Paulo - Trilha Rad: Delphi C++  How we figured out we had a SRE...
TDC2017 | São Paulo - Trilha Rad: Delphi C++ How we figured out we had a SRE...
 
CodeIgniter 4 - Introdução
CodeIgniter 4 - IntroduçãoCodeIgniter 4 - Introdução
CodeIgniter 4 - Introdução
 
Ambiente de Desenvolvimento Linux
Ambiente de Desenvolvimento LinuxAmbiente de Desenvolvimento Linux
Ambiente de Desenvolvimento Linux
 
BOT: Conversando com o seu sistema
BOT: Conversando com o seu sistemaBOT: Conversando com o seu sistema
BOT: Conversando com o seu sistema
 
Azure blob xamarin-tdc2016
Azure blob xamarin-tdc2016Azure blob xamarin-tdc2016
Azure blob xamarin-tdc2016
 
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...
Qt: O Seu toolkit para C++/Python com o verdadeiro: Write Once Deploys Everyw...
 
Lpi autodidata Flisol Florianopolis
Lpi autodidata Flisol FlorianopolisLpi autodidata Flisol Florianopolis
Lpi autodidata Flisol Florianopolis
 
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escala
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escalaTDC - Técnicas e recursos para desenvolvimento web em cenários de grande escala
TDC - Técnicas e recursos para desenvolvimento web em cenários de grande escala
 
Code Igniter - O Framework php mais fácil e ágil
Code Igniter - O Framework php mais fácil e ágilCode Igniter - O Framework php mais fácil e ágil
Code Igniter - O Framework php mais fácil e ágil
 
Sua aplicação nas nuvens com open shift
Sua aplicação nas nuvens com open shiftSua aplicação nas nuvens com open shift
Sua aplicação nas nuvens com open shift
 
Desenvolvimento Linux
Desenvolvimento LinuxDesenvolvimento Linux
Desenvolvimento Linux
 
Mapa de aprendizado Front End
Mapa de aprendizado Front EndMapa de aprendizado Front End
Mapa de aprendizado Front End
 
Configurando aplicações em ambiente RedHat OpenShift através do Eclipse
Configurando aplicações em ambiente RedHat OpenShift através do EclipseConfigurando aplicações em ambiente RedHat OpenShift através do Eclipse
Configurando aplicações em ambiente RedHat OpenShift através do Eclipse
 

Destaque

Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...
Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...
Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...Miguel Gallardo
 
Como lidar com cargas de trabalho mistas - PostgreSQL
Como lidar com cargas de trabalho mistas - PostgreSQLComo lidar com cargas de trabalho mistas - PostgreSQL
Como lidar com cargas de trabalho mistas - PostgreSQLDiego Santos
 
Arte, tecnologia e instalação interativa
Arte, tecnologia e instalação interativaArte, tecnologia e instalação interativa
Arte, tecnologia e instalação interativaecoarte
 
Virtualização usando KVM e LXC
Virtualização usando KVM e LXCVirtualização usando KVM e LXC
Virtualização usando KVM e LXCLuís Eduardo
 
Unidade 3.2 instalação do sistemas operacionais livres
Unidade 3.2   instalação do sistemas operacionais livresUnidade 3.2   instalação do sistemas operacionais livres
Unidade 3.2 instalação do sistemas operacionais livresJuan Carlos Lamarão
 
4Linux - Monitoramento de Redes com o Zabbix
4Linux - Monitoramento de Redes com o Zabbix4Linux - Monitoramento de Redes com o Zabbix
4Linux - Monitoramento de Redes com o ZabbixElvis Suffi Pompeu
 
MySQL - Instalação e Alguns comandos de Banco de Dados
MySQL - Instalação e Alguns comandos de Banco de DadosMySQL - Instalação e Alguns comandos de Banco de Dados
MySQL - Instalação e Alguns comandos de Banco de DadosClayton de Almeida Souza
 
Apresentação - Curso de Monitoramento com Zabbix - HOTMART
Apresentação - Curso de Monitoramento com Zabbix - HOTMARTApresentação - Curso de Monitoramento com Zabbix - HOTMART
Apresentação - Curso de Monitoramento com Zabbix - HOTMARTThiago Braga
 
Apostila Programação Java
Apostila Programação JavaApostila Programação Java
Apostila Programação Javainfo_cimol
 

Destaque (13)

Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...
Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...
Elasticsearch: Motor de busca e além. Lições aprendidas criando Tu Próximo...
 
Como lidar com cargas de trabalho mistas - PostgreSQL
Como lidar com cargas de trabalho mistas - PostgreSQLComo lidar com cargas de trabalho mistas - PostgreSQL
Como lidar com cargas de trabalho mistas - PostgreSQL
 
Arte, tecnologia e instalação interativa
Arte, tecnologia e instalação interativaArte, tecnologia e instalação interativa
Arte, tecnologia e instalação interativa
 
Virtualização usando KVM e LXC
Virtualização usando KVM e LXCVirtualização usando KVM e LXC
Virtualização usando KVM e LXC
 
Unidade 3.2 instalação do sistemas operacionais livres
Unidade 3.2   instalação do sistemas operacionais livresUnidade 3.2   instalação do sistemas operacionais livres
Unidade 3.2 instalação do sistemas operacionais livres
 
Unidade 3 criptogradia
Unidade 3   criptogradiaUnidade 3   criptogradia
Unidade 3 criptogradia
 
4Linux - Monitoramento de Redes com o Zabbix
4Linux - Monitoramento de Redes com o Zabbix4Linux - Monitoramento de Redes com o Zabbix
4Linux - Monitoramento de Redes com o Zabbix
 
Motores de Busca
Motores de BuscaMotores de Busca
Motores de Busca
 
Curso Fotografia digital
 Curso Fotografia digital Curso Fotografia digital
Curso Fotografia digital
 
MySQL - Instalação e Alguns comandos de Banco de Dados
MySQL - Instalação e Alguns comandos de Banco de DadosMySQL - Instalação e Alguns comandos de Banco de Dados
MySQL - Instalação e Alguns comandos de Banco de Dados
 
Apresentação - Curso de Monitoramento com Zabbix - HOTMART
Apresentação - Curso de Monitoramento com Zabbix - HOTMARTApresentação - Curso de Monitoramento com Zabbix - HOTMART
Apresentação - Curso de Monitoramento com Zabbix - HOTMART
 
O sistema do Computador
O sistema do ComputadorO sistema do Computador
O sistema do Computador
 
Apostila Programação Java
Apostila Programação JavaApostila Programação Java
Apostila Programação Java
 

Semelhante a Inteligência Operacional utilizando a solução Elastic.

Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angolaalexculpado
 
PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoPostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre
 
Palestra Big Data SCTI
Palestra Big Data SCTIPalestra Big Data SCTI
Palestra Big Data SCTIBruna Pereira
 
Partilha de Informação
Partilha de InformaçãoPartilha de Informação
Partilha de InformaçãoONE Talks
 
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software LivrePalestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software LivreAmbiente Livre
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowareMarcos Vinicius Fidelis
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre
 
Casos que inspiram - as lições das melhores intranets do Brasil
Casos que inspiram - as lições das melhores intranets do BrasilCasos que inspiram - as lições das melhores intranets do Brasil
Casos que inspiram - as lições das melhores intranets do BrasilInstituto Intranet Portal
 
Analise de riscos e contramedidas em cloud computing
Analise de riscos e contramedidas em cloud computing Analise de riscos e contramedidas em cloud computing
Analise de riscos e contramedidas em cloud computing Paulo Rodrigues
 
Hackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big DataHackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big Datainmetrics
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Lucas Modesto
 
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de Riscos
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de RiscosPrevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de Riscos
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de RiscosVirtù Tecnológica
 

Semelhante a Inteligência Operacional utilizando a solução Elastic. (20)

Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - AngolaAula Magna Sobre BI & BigData na UNIA, Luanda - Angola
Aula Magna Sobre BI & BigData na UNIA, Luanda - Angola
 
PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoPostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
 
Palestra Big Data SCTI
Palestra Big Data SCTIPalestra Big Data SCTI
Palestra Big Data SCTI
 
Partilha de Informação
Partilha de InformaçãoPartilha de Informação
Partilha de Informação
 
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software LivrePalestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinoware
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Big Data - Conceitos Básicos
Big Data - Conceitos BásicosBig Data - Conceitos Básicos
Big Data - Conceitos Básicos
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
 
AXONDATA - Institucional 2017
AXONDATA - Institucional 2017AXONDATA - Institucional 2017
AXONDATA - Institucional 2017
 
Casos que inspiram - as lições das melhores intranets do Brasil
Casos que inspiram - as lições das melhores intranets do BrasilCasos que inspiram - as lições das melhores intranets do Brasil
Casos que inspiram - as lições das melhores intranets do Brasil
 
Analise de riscos e contramedidas em cloud computing
Analise de riscos e contramedidas em cloud computing Analise de riscos e contramedidas em cloud computing
Analise de riscos e contramedidas em cloud computing
 
Linear - Softwares Matemáticos
Linear - Softwares Matemáticos Linear - Softwares Matemáticos
Linear - Softwares Matemáticos
 
Hackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big DataHackathon Inmetrics e Fiap: Desafios do Big Data
Hackathon Inmetrics e Fiap: Desafios do Big Data
 
People Analytics para RH
People Analytics para RHPeople Analytics para RH
People Analytics para RH
 
Big Data Latinoware 2014
Big Data Latinoware 2014Big Data Latinoware 2014
Big Data Latinoware 2014
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.
 
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de Riscos
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de RiscosPrevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de Riscos
Prevenção à Fraudes, Conformidade Regulamentar, Gerenciamento de Riscos
 
People Analytics para RH
People Analytics para RHPeople Analytics para RH
People Analytics para RH
 
People analytics para RH
People analytics  para RH People analytics  para RH
People analytics para RH
 

Inteligência Operacional utilizando a solução Elastic.

  • 2. Palestrantes: Ronaldo Wanzeller Formado em Web design e programação,UNISUL, e Pós-graduado em Coordenação de Projetos de TI. Dinâmico, autodidata, empreendedor. Meus hobbies são motociclismo, e viagem em família.
  • 3. Palestrantes: Rodrigo Tornis Graduado em Redes de Computadores Pós-Graduado em Segurança Pós-Graduando em Business Intelligence Gerente de Tecnologia na 4Linux Profissional de TI desde 1996 Entusiasta em tecnologias de BigData e DataScience.
  • 4. Sobre a CAIXA A vida pede mais que um banco ​Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço (FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego, institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de ajudar a população, através dos programas sociais do governo, como o Bolsa Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha Casa Minha Vida.
  • 5. CAIXA e Software Livre ● + de 100 mil equipamentos em Linux (Desktop, Embarcados e Servidores) ● Disponibilizou para comunidade os códigos dos softwares Minuano, Curupira e Expresso Livre ● Adota o Expresso Livre como solução de correio para Parceiros e Terceirizados ● Utiliza outras soluções Open Source em diversas unidades ● Um dos maiores CASES com PostgreSQL - Multicanal
  • 6. Agenda ● Contextualização do Problema ● Avaliação das soluções ● Solução Elastic – Nossa arquitetura ● Visibilidade do comportamento da infraestrutura ● Maturidade do Dados ● Futuro com a solução Elastic
  • 8. Contextualização do Problema - TEMA ● Apresentar a experiência que a equipe de correio eletrônico da CAIXA vem ganhando com a adoção da solução Elastic.
  • 9. Contextualização do Problema – cont. ● Retenção de apenas 15 dias de logs para consulta ● Demora durante o rastreio de logs de mensagens ● Ação reativa a incidentes ● Medições e volumetria parcial ou inexistente ● Analise em tempo real do ambiente ● Uso indevido ou incorreto do canal
  • 10. Contextualização do Problema – cont. O que queremos? ● Armazenar informações de 2,5 milhões de mensagens por dia ● Possibilidade de coleta de logs/dados de qualquer origem ● Realizar buscas em milhões de dados de forma rápida ● Gerar gráficos estatísticos em tempo real ● Agir proativamente a incidentes inibindo o mau uso do canal ● Realizar medições e volumetria em tempo real
  • 12. Avaliação das Soluções ● Inicialmente armazenar em SGBD:
  • 13. Avaliação das Soluções – cont. ● Foi bem até um certo tempo... ● … mas ficou inviável após o aumento das informações a serem armazenadas e a adição de mais servidores para serem monitorados.
  • 14. Avaliação das Soluções – cont. ● Qual solução?
  • 15. Avaliação das Soluções – cont. Todas as soluções citadas atendiam a necessidade porém foi percebido alguns impeditivos como: ● Curva de aprendizado é alta em boa parte das soluções propostas ● Inexistência de interface pronta ou parcialmente funcional para consultas e geração de gráficos ou analise estatísticas ● Algumas das soluções necessitam de muitos recursos computacionais ● Nossa equipe pouco Know-how em desenvolvimento ● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação
  • 16. Avaliação das Soluções – cont. ● Qual solução?
  • 17. Avaliação das Soluções – cont. ● Porque? ● Simples para implementar ● Simples para escalar ● Solução atende de ponta a ponta (coleta, tratamento, armazenamento e visualização) ● Curva de aprendizado baixa e rápida para a equipe
  • 19. Solução Elastic – Nossa arquitetura ● Composta por três ferramentas:
  • 20. Solução Elastic – Nossa arquitetura ● Em 2015 criou-se uma única solução denominada:
  • 21. Solução Elastic – Nossa arquitetura – cont. ● Motivação em usar a solução. Quem usa o Elastic? Fonte: https://www.elastic.co/use-cases
  • 22. Solução Elastic – Nossa arquitetura – cont. Nossa estrutura em números: ● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA ● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e parceiros ● 2 Servidores Postfix para mensagens de Aplicações ● 2,5 milhões de mensagens trafegadas por dia ● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia
  • 23. Solução Elastic – Nossa arquitetura – cont. ● Nossa estrutura POSTFIX
  • 24. Solução Elastic – Nossa arquitetura – cont. ● Nossa estrutura em detalhes POSTFIX Cluster
  • 26. Visibilidade do comportamento da infraestrutura
  • 27. Visibilidade do comportamento da infraestrutura - cont
  • 28. Visibilidade do comportamento da infraestrutura - cont
  • 29. Visibilidade do comportamento da infraestrutura - cont
  • 30. Visibilidade do comportamento da infraestrutura - cont
  • 31. Visibilidade do comportamento da infraestrutura – cont. Ganhos com a adoção do Elastic: ● Visão em tempo real do ambiente de correio eletrônico ● Proatividade e rapidez na identificação de incidentes ou uso indevido do canal ● Medição e Volumetria ● Pesquisa em volume gigantesco de dados com resultados rápidos
  • 32. Visibilidade do comportamento da infraestrutura – cont. Ganhos com a adoção do Elastic: ● Comparar e correlacionar informações em plataformas distintas (Comercial e Livre) ● Aumento de 15 para 90 dias a retenção de logs (dados disponíveis para consulta) ● Armazenamento centralizado de aproximadamente 600 milhões de linhas de logs (média de 20 milhões dia)
  • 34. Maturidade dos Dados Com a visão do ambiente passamos a questionar: ● O que deve ser de fato armazenado? Qual o SIZE que preciso ter para armazenar essas mensagens? Estamos estimando bem? ● Como identificar de forma automatizada mensagens que não tem nenhum sentido para o negócio? ● Como inibir de forma automatizada que aplicações realizem testes de envio em produção?
  • 35. Maturidade dos Dados – cont. Do ponto de vista negocial: ● Como inibir de forma automatizada mensagens de cunho pejorativo, homofóbico, político/partidário ou pornográfico? ● Esse tipo de informação deveria estar em um portal (ou qualquer outro canal de comunicação) e não em um e- mail
  • 36. Futuro com a solução Elastic
  • 37. Futuro com a solução Elastic ● Medição e volumetria de mailboxes ● Analise de trafego de usuários e agências ● Geo-referenciamento de agências e unidades ● Analise e identificação de fraude e falhas em caixas eletrônicos e terminais lotéricos ● Estender para outros departamentos da CAIXA
  • 38. Futuro com a solução Elastic ● Projeto de analise de logs OpenLDAP ● 99 milhões de linhas de logs/dia ● Projeto portais de intranet CAIXA ● Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint ● Projeto GSC ● Monitorar abertura de chamados entre CAIXA e fornecedor ● Projeto GIICP ● Monitorar ciclo de vida de emissão de certificados digitais ● Pro-atividade em ataques no ambiente de emissão de certificados
  • 39. Futuro com a solução Elastic ● Predição e Classificação utilizando: