Palestra do evento: http://www.thedevelopersconference.com.br/

1. Francisco Wagner Cunha Freire (@ffreire)

2. Agenda
• Cenário;
• Motivação;
• Problemas;
• Tecnologia;
• Resultado;

3. Cenário
• Ambiente com mais de 3 milhões de contas de
e-mail;
• Mais de 100 milhões de e-mails
enviados/recebidos todos os dias;
• Mais de 400 milhões de linhas de log por dia;

4. Motivação
• Necessidade de acesso rápido a logs recentes
para análise de problemas;
• Necessidade de acesso a logs mais antigos
para análises mais detalhadas de
crescimento, etc;
• Necessidade de um relatório em tempo real
do que está acontecendo;
• Necessidade de gerar estatísticas para
entender padrões e prever problemas;

5. Problemas
• Como suprir todas as necessidades?
• Utilizar a mesma solução ?
• Como escalar a solução ? Soluções para dados
recentes e estatísticas devem ser rápidas, com
maior quantidade de dados precisam de
armazenamento;
• Custo x Benefício;

6. Tecnologia
• Ferramentas disponíveis no mercado;
• Opções open-source;
• Desenvolvimento interno;

7. Tecnologia
• Para consulta de logs recentes: graylog
• Para consulta de logs antigos: filesystem +
rsync
• Para estatísticas e relatórios: Solução
desenvolvida internamente;

8. Graylog
• Open-source;
• Backends: ElasticSearch + MongoDB + AMQP
(RabbitMQ);
• Streams personalizadas;
• Alta performance;
• Interface simples;
• Protocolo simples;
• Não utilizar syslog remoto;
• Plugin desenvolvido:
https://github.com/locaweb/logix

9. Graylog

10. Filesystem + rsync
• Really?
• Consultas de dados antigos não demandam
interface de usuário;
• egrep + xargs FTW;
• Rsync e não syslog remoto;
• Gzip para compactação;
• 2 anos de logs em um único servidor;

11. Ferramenta interna
• Why?
• Backend: redis
• Tecnologia: python + twisted
• Utiliza processamento no servidor de origem;
• + de 70k operações por segundo, fazendo
parse e enviando para diferentes destinos;

12. Redis
• Dados voláteis em ram;
• Dados que não podem ser perdidos podem
ser persistidos em disco;
• Alta performance;
• 100k+ operações em um único servidor;
• Replicação Master/Slave;

13. Resultado
• Melhor e mais rápida análise no primeiro nível
de atendimento;
• Histórico de tudo;
• Acesso rápido a “n” tipos de estatísticas;
• Fácil implementação de novos relatórios
conforme necessidade;

14. Estrutura
Aplicação
Rsyslog
Filesystem
Logserver
(rsync)
Gzip
Logix (udp)
RabbitMQ
Graylog
ElasticSearch
Parser (udp)
Redis (shard)
Redis (slave)
Redis (shard)
Redis (slave)
Redis (shard)
Redis (slave)

15. Logs armazenados (2013)
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
Jan-13 Feb-13 Mar-13 Apr-13 May-13 Jun-13
Tamanho (GB) +gzip Tamanho (GB) +raw

16. Graylog

17. Redis
redis 127.0.0.1:6379> info
redis_version:2.4.1
arch_bits:64
uptime_in_days:2
connected_clients:7024
connected_slaves:3
used_memory_human:11.63G
used_memory_peak_human:16.66G
total_connections_received:978225
total_commands_processed:3782860626
expired_keys:7613320
evicted_keys:0
role:master
db0:keys=511643,expires=386597
db2:keys=6581773,expires=1562605
db3:keys=64,expires=55
db6:keys=1,expires=0
db10:keys=19,expires=0
db15:keys=4,expires=0

18. Relatórios

19. Relatórios

20. Heatmap

21. Python

22. Config

23. Dúvidas?

24. Contato
• Francisco Wagner Cunha Freire
wgrcunha@gmail.com
• Twitter: @ffreire
• http://github.com/locaweb