O documento discute a coleta, armazenamento e visualização de métricas em uma arquitetura de microserviços na nuvem. Ele explica como instrumentar serviços para expor métricas, como coletar essas métricas usando ferramentas como Collectd e Sensu, e armazená-las em bancos de dados de séries temporais como InfluxDB. Também discute como visualizar e configurar alertas para essas métricas usando ferramentas como Prometheus e Graphana.

1. Coleta, armazenamento e visualização de
métricas em uma arquitetura de
microserviços na cloud
Rafael Souza
@rafael_psouza

2. ○ Engenheiro de Computação
○ Engenheiro de Software
○ Arquitetura de Software, SOA, Microservices, APIs…

3. ○ Contexto do Projeto
○ Problema
○ Overview
○ Instrumentação
○ Coleta
○ Armazenamento
○ Visualização e Alertas
Agenda

4. Contexto do Projeto

5. Tecnologias

7. Times por Serviço/Plataforma

8. Stability and Performance
Engineering
○ Testes de Performance
○ Engenharia de Caos
○ Performance tuning/troubleshooting
○ Definir/Manter componentes de telemetria

9. O Problema

10. Debug
Como definir a causa raiz dos problemas?

11. ○ Como está a saúde dos serviços/componentes?
○ Quais são as características de performance
○ Validar suposições e torná-las explícitas
Visibilidade de saúde e
performance

12. Confiabilidade e eficiência
○ Até onde o sistema é confiável?
○ Existe um bom uso de recursos computacionais?

13. Os nossos problemas
○ Responsabilidade “sem dono”
○ Monitoramento ineficiente (não confiável)
○ Pouca visibilidade dos serviços
○ Pouca visibilidade dos componentes de infra
○ Criar confidence score (Canary Release)

14. Observability / Telemetry

15. Exposição e Coleta
Visualização e
Query
Armazenamento
TracingAlertas Logs
Componentes comuns

17. Instrumentação
○ Tornar métricas visíveis
○ O que expor
○ Como expor
○ Gauges and Counters

18. Servo

20. Outras opções no mundo Java
○ Dropwizard metrics
○ Spring Boot Actuator

21. Infraestrutura e SO

22. ○ Push x Coleta
○ Collectd
○ Sensu checks
Coleta de Métricas

23. Collectd
○ Open Source
○ Escrito em C (performance)
○ Modular e Portável
○ Código sofisticado para Network

24. Collectd: Arquitetura

26. Collectd: 128 plugins catalogados

27. Sensu: ~160 plugins + Nagios

29. Armazenamento de Métricas

30. ○ Identificador
○ Tipo
○ Valor
○ Quando? (timestamp)
O que é uma métrica?

31. Sensu

32. Elasticsearch
○ Não é uma boa ideia
○ Martelo?
○ SEARCH

33. TSDB
“A time series database (TSDB) is a software system
that is optimized for handling time series data”

34. ○ Indexado por tempo
○ Queries
○ Operações matemáticas
○ Dynamic thresholds
TSDB: Vantagens

35. ○ InfluxDB
○ OpenTSDB
○ Graphite (Whisper)
○ RIAK TS
○ DalmatinerDB
○ ...
TSDB: Opções

36. Visualização e Alertas

37. ○ Correlacionar métricas - Informação
○ Métricas multiníveis
○ Relacionar dashboards e alertas
Visualização

38. ○ Static Thresholds
○ Dynamic Thresholds
○ Detecção de anomalias
Alertas

42. ○ Prometheus
○ Graphana
○ Riemann
○ InfluxData
Opções

43. Aprendizados Importantes

44. Obrigado!

45. Coleta, armazenamento e visualização de
métricas em uma arquitetura de
microserviços na cloud
Rafael Souza
@rafael_psouza
http://rafaelsouza.eng.br