Como a ideia de um app bem simples com Go, junto com o ElasticSearch e Kibana, ajudou na economia de tempo e recurso na construção de um mecanismo de auditoria de eventos trafegados em um message broker. O app tinha como função realizar a leitura de mensagens em uma fila e enviá-las ao ElasticSearch. O Kibana foi usado ler os dados do ElasticSearch e criar métricas de forma dinâmica.

1. Criando um sistema
de auditoria com Go,
ElasticSearch e
Kibana
Gabriel Feitosa

2. Sobre a talk
● O desafio
● O cenário
● Ideias
● Solução
● Por que Go?

3. Sobre mim
● Trabalho na Conta Azul
○ Faço parte do time que está
revolucionando o mercado contábil
com o Conta Azul Mais
● 8 meses usando a marmotinha
gabrielfeitosa gabrielfeitosa
gabfeitosa_ gabfeitosa@gmail.com

4. O desafio
Auditar 8 microsserviços em um curto espaço de tempo
e levar em consideração a economia extrema de
recursos (memória, cpu, disco, …)
type Audit struct {
ID int64 `json:"id"`
IDCorrelation int `json:"correlation_id"`
Module string `json:"module"`
Action string `json:"action"`
Login string `json:"login"`
TransactionAt time.Time `json:"transaction_at"`
Entity string `json:"entity"`
IP string `json:"ip"`
Location Location `json:"location"`
}

5. O cenário
● Time com domínio em Java
● Todos os módulos usavam Spring Boot
● Recursos de infra limitados
○ Servidor próprio
● ElasticSearch usado em outro projeto
○ Bem subutilizado
● RabbitMQ já era utilizado pelo projeto

6. Arquitetura

7. Como vamos coletar os dados?
Extrair direto do banco de dados?
Alterar código?

8. E a exibição dos dados?
“Pensamos em criar um ultra, mega, power sistema que
permite montar dashboards e extrair relatórios de forma
dinâmica!”
O empolgado

9. E aí, qual a solução?

10. Como capturar os dados?
Interceptamos com o Event Listener
http://docs.jboss.org/hibernate/orm/current/userguide/html_single/Hibernate_User_Guide.html#events
https://dzone.com/articles/spring-managed-hibernate-event-listeners

11. E os dados vão para onde?
Para um tópico no RabbitMQ, pois ele já é usado em outros
cenários

12. Quem vai ler as mensagens?

13. Como o time foi convencido a
adotar Go?
● Simples
● Performático
● Imagem docker minúscula (A infra pira)
● Exemplo (RabbitMQ e ElasticSearch)
● Não era para o produto

14. E a auditoria?
O ElasticSearch mata no peito e
o Kibana faz o gol

15. Arquitetura

16. Bora ver
funcionando?
Link da demo: https://github.com/gabrielfeitosa/tdc-audit

17. Obrigado
Dúvidas?
Estamos contratando