Kafka

1. Arquitetura orientada a
eventos com Kafka
Raphael Monteiro

2. Microserviços – Banco por
serviço

3. Banco por serviço - Problema
Sincronização de dados dependentes em diferentes
bancos

4. Solução
Utilizar mecanismo de consistência eventual, no qual
cada serviço é responsavel por gerar eventos de dados
atualizados, para que serviços interessados possam
atualizar os dados.

5. Broker de mensageria
Produtor envia mensagem para o broker, sobre
determinado contexto, mensagem é exposta para
consumidores que querem mensagens deste determinado
contexto

7. Tradicionais brokers
RabbitMQ
ActtiveMQ
Kestrel

8. Kafka
Desenvolvido pelo Linkedin
Único broker suporta centenas de megabytes de escritas
e leituras por segundo de milhares de clientes.
Trabalha em cluster com transparencia e é expandivel
sem “downtime”
Durabilidade nas mensagens

9. Tópicos

10. Distribuição
Replicação de partições
Server líder
Replicação instantanea do Server lider para os Servers
seguidores

11. Producers
Publica mensagens para determinado tópico/partição
Balanciamento Round-Robin ou customizado

12. Consumers

13. Arquitetura atual

14. Garantias
Mensagens entregas em ordem
Produtor consome eventos da entidade comercial, faz a
remoção após mensagem ser aceita no broker
Consumidor, faz o commit do offset após o
processamento completo de uma mensagem, em caso de
problema a mensagem é reprocessada
Kafka possúi 3 nodos, no caso de queda do lider da
partição, produtor e consumidor fazem o rebalanciamento
para o novo líder automaticamente