Uma breve história de problemas enfrentados com o RabbitMQ no processamento de pagamentos digitais.

1. DOMANDO O COELHO,
MOSTRANDO NA PRÁTICA OS PROBLEMAS
QUE ENFRENTAMOS COM O RABBITMQ

2. QUEM USA OU
USOU O RABBITMQ?

3. LEONARDO BERNARDELLI
@lbenardelli

4. ALGUNS DADOS
35MM/DAY 1.03B/MTH

5. QUANDO TEMOS PROBLEMAS …

6. ONDE ERA A TOCA DO COELHO?

7. DON’T OPEN AND CLOSE CONNECTIONS OR
CHANNELS REPEATEDLY.
APRENDIZADOS
▸ Veremos a seguir o porque

8. APRENDIZADOS
▸ Steal time alto
▸ CPU em 100%
▸ Alto consumo de memória

9. SOLUÇÃO

10. SOLUÇÃO

11. RESULTADO
-35% CPU
-33% NET.

12. DIA COM PROBLEMA DEPLOY SOLUÇÃO
RESULTADO

13. APRENDIZADOS
DON’T USE TOO MANY CONNECTIONS OR
CHANNELS. ▸ Cada conexão usa ~ 100 KB de RAM
▸ Muitas conexões podem sobrecarregar
servidor RabbitMQ
▸ Os channels do AMQP que “multiplexam" uma
única conexão TCP

14. APRENDIZADOS
DON’T SHARE CHANNELS BETWEEN
THREADS. ▸ A maioria dos clients não implementam os
channels thread safe.

15. APRENDIZADOS
DON'T HAVE QUEUES THAT ARE TOO LARGE
OR TOO LONG.
▸ Queues com muitas mensagens aumentam o
consumo de memória
▸ O processo de replicação entre nós fica
demorado
▸ A interface de gerenciamento do RabbitMQ
coleta e armazena estatística de todas
queues

16. APRENDIZADOS
DON'T HAVE AN UNLIMITED PREFETCH
VALUE. ▸ Um dos consumidores irão receber todas as
mensagens
▸ Pode fazê-lo "crashear" sic
▸ Pode acabar a memória no consumidor

17. APRENDIZADOS
MISSING AN HA POLICY WHILE CREATING A
NEW VHOST ON A CLUSTER.
▸ Ao criar um VHOST HA não vem habilitado
por default
▸ As mensagens não serão sincronizadas entre
os nós

18. APRENDIZADOS
ACK AND CONFIRM YOUR MESSAGES.
▸ Mensagens in transit podem se perder caso
haja um falha de conexão e precisarão ser
retransmitidas
▸ Mensagens unaked ficaram na memória do
servidor, se existirem muitas pode causa out
of memory
▸ Uma boa maneira limitar as mensagens
unaked é limitar a quantidade de mensagens
que os consumidores podem prefetch

19. POR HOJE É SÓ,
PESSOAL.
OBRIGADO!!!