Domando os
logs
Logs
Logs
• Registros/eventos -> arquivo
Logs
• Registros/eventos -> arquivo stream/fluxo
Múltiplas streams, múltiplas
fontes
Centralização
• Unifica logs da mesma stream
• Permite correlacionar streams diferentes
• Histórico
• (SSH + tail -f | grep...
Como?
Os 3 tipos de log
• Erros/exceções de aplicações
• Logs em geral
• Métricas
MUITAS soluções, a
ideal depende do seu
cenário
Log de exceções de
aplicações
O que ganho com isso?
• Agrupamento
• Controle de regressão
• Alertas de fábrica
• Contexto
Soluções
• Sentry
• Airbrake (Errbit)
• Ambas OSS + SaaS
Logs em geral
• Coleta
• Processamento
• Armazenagem
• Visualização
Algumas soluções
• Splunk/Graylog
• ELK (Elasticsearch + Logstash* + Kibana)
• SaaS (Papertrail, Loggly, Logentries etc)
Soluções SaaS
• Coleta
• Processamento
• Armazenagem
• Visualização
• mais rápido
• mais simples
• menos flexível
Soluções “em casa”
• Coleta
• Processamento
• Armazenagem
• Visualização
• mais flexível
• mais recursos
• menor custo em l...
Coleta
• Syslog: língua comum
• TCP SEMPRE
• Garantia de entrega? Protocolos específicos
(RELP, GELF, Lumberjack)
• Coletor...
Processamento
• Logstash/Heka/Fluentd (processadores)
• Graylog/Splunk (soluções completas)
Armazenagem
• BDs: Elasticsearch, MongoDB, PostgreSQL
• Brokers: RabbitMQ, Redis
• Arquivos, S3
Visualização
• Depende dos outros itens
• Elasticsearch: Kibana
• Graylog/Splunk: painéis próprios
Como fica
Combine as ferramentas
Crie ambientes paralelos
obrigado!
Hernandes B. de Sousa
@hernandes | hernandes.sousa@gmail.com
about.me/hernandesbsousa
Domando os logs
Domando os logs
Domando os logs
Domando os logs
Próximos SlideShares
Carregando em…5
×

Domando os logs

359 visualizações

Publicada em

Slides de minha apresentação no TDC 2015 na trilha de DevOps sobre logs.

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
359
No SlideShare
0
A partir de incorporações
0
Número de incorporações
18
Ações
Compartilhamentos
0
Downloads
8
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Domando os logs

  1. 1. Domando os logs
  2. 2. Logs
  3. 3. Logs • Registros/eventos -> arquivo
  4. 4. Logs • Registros/eventos -> arquivo stream/fluxo
  5. 5. Múltiplas streams, múltiplas fontes
  6. 6. Centralização • Unifica logs da mesma stream • Permite correlacionar streams diferentes • Histórico • (SSH + tail -f | grep) * 5 • Segurança (+ difícil eliminar rastros) • Compliance
  7. 7. Como?
  8. 8. Os 3 tipos de log • Erros/exceções de aplicações • Logs em geral • Métricas
  9. 9. MUITAS soluções, a ideal depende do seu cenário
  10. 10. Log de exceções de aplicações
  11. 11. O que ganho com isso? • Agrupamento • Controle de regressão • Alertas de fábrica • Contexto
  12. 12. Soluções • Sentry • Airbrake (Errbit) • Ambas OSS + SaaS
  13. 13. Logs em geral
  14. 14. • Coleta • Processamento • Armazenagem • Visualização
  15. 15. Algumas soluções • Splunk/Graylog • ELK (Elasticsearch + Logstash* + Kibana) • SaaS (Papertrail, Loggly, Logentries etc)
  16. 16. Soluções SaaS • Coleta • Processamento • Armazenagem • Visualização • mais rápido • mais simples • menos flexível
  17. 17. Soluções “em casa” • Coleta • Processamento • Armazenagem • Visualização • mais flexível • mais recursos • menor custo em larga escala • maior custo em pequena escala • leva mais tempo para implantar
  18. 18. Coleta • Syslog: língua comum • TCP SEMPRE • Garantia de entrega? Protocolos específicos (RELP, GELF, Lumberjack) • Coletor próprio de sua solução escolhida • Logs em JSON?
  19. 19. Processamento • Logstash/Heka/Fluentd (processadores) • Graylog/Splunk (soluções completas)
  20. 20. Armazenagem • BDs: Elasticsearch, MongoDB, PostgreSQL • Brokers: RabbitMQ, Redis • Arquivos, S3
  21. 21. Visualização • Depende dos outros itens • Elasticsearch: Kibana • Graylog/Splunk: painéis próprios
  22. 22. Como fica
  23. 23. Combine as ferramentas
  24. 24. Crie ambientes paralelos
  25. 25. obrigado! Hernandes B. de Sousa @hernandes | hernandes.sousa@gmail.com about.me/hernandesbsousa

×