SlideShare uma empresa Scribd logo
1 de 12
Baixar para ler offline
Case: Extraindo informações de negócio a partir de
logs de aplicações com o ELK
2016
Agenda
1. O problema
2. Construindo a solução
3. Superando desafios de segurança
4. Modelando a solução
5. Primeiros resultados
6. Extraindo informações de negócio
7. Números
8. Próximos passos
9. Contato
Total de slides: 10
Duração aproximada: 20 min.
O problema
• Operação crítica da companhia;
• Aplicação fechada (sem acesso ao
código-fonte);
• Processo burocrático e lento para
acesso aos logs de produção;
• Aprox. 4GB de dados gerados por dia;
• Análise manual, imprecisa, lenta e
difícil.
Construindo a solução
• LogForwarder ©: Solução desenvolvida in-house para interpretação, serialização em json e
envio das mensagens de log para o logstash;
• Logstash: Solução para coleta, processamento e transporte de dados;
• Elasticsearch: Solução para indexação, pesquisa e análise de grande quantidade de dados em
tempo real;
• Kibana: Front-end para pesquisa, análise e visualização de dados no Elasticsearch;
ELK
8 núcleos
32 GB RAM
1.5 TB Storage
Superando desafios de segurança
O Microsoft IIS foi colocado na frente do Kibana como proxy reverso para atender aos requisitos de
Segurança da Informação:
• Autenticação – HTTP Basic Authentication integrado ao MS Active Directory;
• Canal seguro (https) – Configuração de certificado de segurança no site do IIS;
• Rastreabilidade – Através dos logs de autenticação no AD e dos logs de acesso do IIS.
Primeiros resultados
Acesso aos dados dos logs em tempo real;
Tempo médio de throubleshooting caiu de 2 dias para poucos minutos;
Análise proativa de erros.
Extraindo informações de negócio
Dashboard transacional
Tempo médio de processamento
Tempo máximo de processamento
Número de transações simultâneas por segundo
Acompanhamento de picos de tempo de
processamento
Número de transações por servidor
Extraindo informações de negócio
Dashboard transacional
Códigos de resposta de autorização/cancelamento por servidor
Cancelamentos negados por bandeira/servidor
Números
>1 bilhão de
documentos
1TB de
storage
Diversas
áreas de
negócio
3 meses de
histórico
Próximos passos
Cluster único
Alertas automáticos
Correlação de eventos
Contato
Marcus Leandro
Desenvolvedor na Stone
E-mail Stone: mleandro@stone.com.br
E-mail: mvleandro@gmail.com
LinkedIn: https://linkedin.com/in/mvleandro
Obrigado!

Mais conteúdo relacionado

Destaque (20)

อนุทินครั้งที่5
อนุทินครั้งที่5อนุทินครั้งที่5
อนุทินครั้งที่5
 
ôN thi toice
ôN thi toiceôN thi toice
ôN thi toice
 
LINQ presentation
LINQ presentationLINQ presentation
LINQ presentation
 
Neurocirugía; Marzo 2011, Volume 16
Neurocirugía; Marzo 2011, Volume 16Neurocirugía; Marzo 2011, Volume 16
Neurocirugía; Marzo 2011, Volume 16
 
فن التفاوض
فن التفاوضفن التفاوض
فن التفاوض
 
Itecn453 social media
Itecn453 social mediaItecn453 social media
Itecn453 social media
 
Skl un semua mata pelajaran
Skl un semua mata pelajaranSkl un semua mata pelajaran
Skl un semua mata pelajaran
 
Russian Neurosurgical Journal; Vol 3, No 3
Russian Neurosurgical Journal; Vol 3, No 3Russian Neurosurgical Journal; Vol 3, No 3
Russian Neurosurgical Journal; Vol 3, No 3
 
Segnalibri
SegnalibriSegnalibri
Segnalibri
 
Russian Neurosurgical Journal; Vol 3, No 4
Russian Neurosurgical Journal; Vol 3, No 4Russian Neurosurgical Journal; Vol 3, No 4
Russian Neurosurgical Journal; Vol 3, No 4
 
DotNET framework
DotNET frameworkDotNET framework
DotNET framework
 
Wildlife Disease & Deer — Dec. 2010 Board Meeting
Wildlife Disease & Deer — Dec. 2010 Board MeetingWildlife Disease & Deer — Dec. 2010 Board Meeting
Wildlife Disease & Deer — Dec. 2010 Board Meeting
 
The colours song
The colours songThe colours song
The colours song
 
Land of Immortals - Fanzine n.0
Land of Immortals - Fanzine n.0Land of Immortals - Fanzine n.0
Land of Immortals - Fanzine n.0
 
Kt24
Kt24Kt24
Kt24
 
Lec4 MECH ENG STRucture
Lec4    MECH ENG  STRuctureLec4    MECH ENG  STRucture
Lec4 MECH ENG STRucture
 
Explorative services and UIs – MEX, London 2013
Explorative services and UIs – MEX, London 2013Explorative services and UIs – MEX, London 2013
Explorative services and UIs – MEX, London 2013
 
Sgcha slide share
Sgcha slide shareSgcha slide share
Sgcha slide share
 
The colours
The coloursThe colours
The colours
 
Itecn453 business strategy
Itecn453 business strategyItecn453 business strategy
Itecn453 business strategy
 

Semelhante a Exraindo informações de negócio a partir de logs de aplicações dom o ELK

Mudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dadosMudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dadosPolis Consulting
 
Economize o Consumo de Link WAN com o BranchCache
Economize o Consumo de Link WAN com o BranchCacheEconomize o Consumo de Link WAN com o BranchCache
Economize o Consumo de Link WAN com o BranchCacheRodrigo Immaginario
 
Introdução Splunk Brasil
Introdução Splunk BrasilIntrodução Splunk Brasil
Introdução Splunk BrasilSplunk
 
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability EngineeringTDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability EngineeringFelipe Klerk Signorini
 
Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Kamila Santos Hinckel
 
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...Amazon Web Services LATAM
 
QCon SP 2016 - WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...
QCon SP 2016 -  WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...QCon SP 2016 -  WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...
QCon SP 2016 - WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...Tiago Marchetti Dolphine
 
Splunk live! São Paulo 2014 - Edenred-Ticket
Splunk live! São Paulo 2014 - Edenred-TicketSplunk live! São Paulo 2014 - Edenred-Ticket
Splunk live! São Paulo 2014 - Edenred-TicketSplunk
 
Big Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoBig Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoRicardo Longa
 
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchXen e CoreOS: solução para data mining com NodeJS e ElasticSearch
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchBernardo Donadio
 
Blockchain uma nova realidade para o mundo dos Negócios
Blockchain uma nova realidade para o mundo dos NegóciosBlockchain uma nova realidade para o mundo dos Negócios
Blockchain uma nova realidade para o mundo dos NegóciosinovaDay .
 
Clientes Splunk Brasil
Clientes Splunk BrasilClientes Splunk Brasil
Clientes Splunk BrasilSplunk
 
Como Implementar a Análise de Dados em Tempo Real
Como Implementar a Análise de Dados em Tempo RealComo Implementar a Análise de Dados em Tempo Real
Como Implementar a Análise de Dados em Tempo RealDenodo
 
Construindo Data Lakes e Analytics na AWS - BDA301 - Sao Paulo Summit
Construindo Data Lakes e Analytics na AWS -  BDA301 - Sao Paulo SummitConstruindo Data Lakes e Analytics na AWS -  BDA301 - Sao Paulo Summit
Construindo Data Lakes e Analytics na AWS - BDA301 - Sao Paulo SummitAmazon Web Services
 
BigQuery Performance Improvements Storage API
BigQuery Performance Improvements Storage APIBigQuery Performance Improvements Storage API
BigQuery Performance Improvements Storage APIAlvaro Viebrantz
 
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5Symantec Brasil
 
Relatórios e estatísticas utilizando logs em tempo real
Relatórios e estatísticas utilizando logs em tempo realRelatórios e estatísticas utilizando logs em tempo real
Relatórios e estatísticas utilizando logs em tempo realFrancisco Freire
 

Semelhante a Exraindo informações de negócio a partir de logs de aplicações dom o ELK (20)

Mudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dadosMudança de paradigma no monitoramento de banco de dados
Mudança de paradigma no monitoramento de banco de dados
 
Economize o Consumo de Link WAN com o BranchCache
Economize o Consumo de Link WAN com o BranchCacheEconomize o Consumo de Link WAN com o BranchCache
Economize o Consumo de Link WAN com o BranchCache
 
Introdução Splunk Brasil
Introdução Splunk BrasilIntrodução Splunk Brasil
Introdução Splunk Brasil
 
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability EngineeringTDC 2017 - Borg até o Prometheus: Site Reliability Engineering
TDC 2017 - Borg até o Prometheus: Site Reliability Engineering
 
Sql Server
Sql ServerSql Server
Sql Server
 
Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016
 
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...
Utilizando a nuvem para proteger o mercado financeiro com segurança, agilidad...
 
QCon SP 2016 - WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...
QCon SP 2016 -  WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...QCon SP 2016 -  WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...
QCon SP 2016 - WebAPIs e delivery: Matando a fome de 1 milhão de pedidos men...
 
Splunk live! São Paulo 2014 - Edenred-Ticket
Splunk live! São Paulo 2014 - Edenred-TicketSplunk live! São Paulo 2014 - Edenred-Ticket
Splunk live! São Paulo 2014 - Edenred-Ticket
 
Big Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoBig Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenho
 
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchXen e CoreOS: solução para data mining com NodeJS e ElasticSearch
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch
 
Blockchain uma nova realidade para o mundo dos Negócios
Blockchain uma nova realidade para o mundo dos NegóciosBlockchain uma nova realidade para o mundo dos Negócios
Blockchain uma nova realidade para o mundo dos Negócios
 
Clientes Splunk Brasil
Clientes Splunk BrasilClientes Splunk Brasil
Clientes Splunk Brasil
 
Como Implementar a Análise de Dados em Tempo Real
Como Implementar a Análise de Dados em Tempo RealComo Implementar a Análise de Dados em Tempo Real
Como Implementar a Análise de Dados em Tempo Real
 
Construindo Data Lakes e Analytics na AWS - BDA301 - Sao Paulo Summit
Construindo Data Lakes e Analytics na AWS -  BDA301 - Sao Paulo SummitConstruindo Data Lakes e Analytics na AWS -  BDA301 - Sao Paulo Summit
Construindo Data Lakes e Analytics na AWS - BDA301 - Sao Paulo Summit
 
Comprei um SQL Server e agora?
Comprei um SQL Server e agora?Comprei um SQL Server e agora?
Comprei um SQL Server e agora?
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
BigQuery Performance Improvements Storage API
BigQuery Performance Improvements Storage APIBigQuery Performance Improvements Storage API
BigQuery Performance Improvements Storage API
 
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5
Be Aware Webinar Symantec - O que há de novo? Data Loss Prevention 14.5
 
Relatórios e estatísticas utilizando logs em tempo real
Relatórios e estatísticas utilizando logs em tempo realRelatórios e estatísticas utilizando logs em tempo real
Relatórios e estatísticas utilizando logs em tempo real
 

Exraindo informações de negócio a partir de logs de aplicações dom o ELK

  • 1. Case: Extraindo informações de negócio a partir de logs de aplicações com o ELK 2016
  • 2. Agenda 1. O problema 2. Construindo a solução 3. Superando desafios de segurança 4. Modelando a solução 5. Primeiros resultados 6. Extraindo informações de negócio 7. Números 8. Próximos passos 9. Contato Total de slides: 10 Duração aproximada: 20 min.
  • 3. O problema • Operação crítica da companhia; • Aplicação fechada (sem acesso ao código-fonte); • Processo burocrático e lento para acesso aos logs de produção; • Aprox. 4GB de dados gerados por dia; • Análise manual, imprecisa, lenta e difícil.
  • 4. Construindo a solução • LogForwarder ©: Solução desenvolvida in-house para interpretação, serialização em json e envio das mensagens de log para o logstash; • Logstash: Solução para coleta, processamento e transporte de dados; • Elasticsearch: Solução para indexação, pesquisa e análise de grande quantidade de dados em tempo real; • Kibana: Front-end para pesquisa, análise e visualização de dados no Elasticsearch; ELK 8 núcleos 32 GB RAM 1.5 TB Storage
  • 5. Superando desafios de segurança O Microsoft IIS foi colocado na frente do Kibana como proxy reverso para atender aos requisitos de Segurança da Informação: • Autenticação – HTTP Basic Authentication integrado ao MS Active Directory; • Canal seguro (https) – Configuração de certificado de segurança no site do IIS; • Rastreabilidade – Através dos logs de autenticação no AD e dos logs de acesso do IIS.
  • 6. Primeiros resultados Acesso aos dados dos logs em tempo real; Tempo médio de throubleshooting caiu de 2 dias para poucos minutos; Análise proativa de erros.
  • 7. Extraindo informações de negócio Dashboard transacional Tempo médio de processamento Tempo máximo de processamento Número de transações simultâneas por segundo Acompanhamento de picos de tempo de processamento Número de transações por servidor
  • 8. Extraindo informações de negócio Dashboard transacional Códigos de resposta de autorização/cancelamento por servidor Cancelamentos negados por bandeira/servidor
  • 9. Números >1 bilhão de documentos 1TB de storage Diversas áreas de negócio 3 meses de histórico
  • 10. Próximos passos Cluster único Alertas automáticos Correlação de eventos
  • 11. Contato Marcus Leandro Desenvolvedor na Stone E-mail Stone: mleandro@stone.com.br E-mail: mvleandro@gmail.com LinkedIn: https://linkedin.com/in/mvleandro