Im #Neuland gibt es noch heute stark in die Jahre gekommene Host- und Service-Monitoring-Lösungen, die zu den unliebsamen Langzeitbaustellen vieler Teams und Unternehmen gehören. Wer kennt es nicht, dass regelmäßige „False-Positive“-Alarme sich in Form von E-Mails oder SMS lästig bekannt machen, dass Webinterfaces schnell an ihre Grenzen stoßen, dass komplexe und benutzerfreundliche Graphen generiert werden sollen oder dass das Monitoring-Konstrukt nicht mit der großen Zahl an hippen neuen Docker-basierten Services/Checks zurechtkommt. Ganz zu schweigen von den lückenhaften oder fehlenden Programmierschnittstellen vieler Monitoring-Monolithen. In diesem Vortrag möchten wir euch eine auf Prometheus und Kubernetes basierende Musterlösung vorstellen, die eine Webapplikation über verschiedene Metriken hinweg überwacht und das DevOps-Betriebsteam zum richtigen Zeitpunkt auf konkrete Probleme aufmerksam macht. Event: DevOpsCon, 06.12.2016 Speaker: Christoph Petrausch, inovex GmbH Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/

1. Prometheus Monitoring
For Fun and Profit
Christoph Petrausch München, 06.12.16

2. Christoph Petrausch
Linux Systems Engineer
Automatisierung, Monitoring, Go
2

3. › Orchestrator für Container
› Cluster System
› Unabhängig von der Container Implementierung
› Verschiedene SDN & SDS Integrationen
3
Kubernetes
… was ist das?

4. › Kubernetes Worker
› Startet Pods
› Verdrahtet Pods mit SDN und SDS
4
Kubernetes
… Kubelet

5. › Fasst ein oder mehrere Container zusammen
› Kleinste schedulbare Einheit
› Hat eigenen Network Namespace
› Kann Volumes mounten
5
Kubernetes
… Pods

6. › Managed mehrere Pods
› Rollout
› Autoscale
6
Kubernetes
… Deployment

7. › Beliebige Key Value Paare
› Für alle Ressourcen verfügbar
7
Kubernetes
… Labels

8. › vIP / Loadbalancer
› DNS
› Primär cluster-intern
› Endpoints per API
8
Kubernetes
… Service

9. › Konfiguration auf dem Master
› Monitoring-Agents um Check-Scripte erweiterbar
› Integrierte Dashboards
9
Klassisches Monitoring
…Icinga/Nagios/CheckMK/Zabbix

10. 1. Hostgruppe definieren
2. Checks definieren
3. Alarme definieren
10
Klassisches Monitoring
… neuer Service

11. › Alarm für: 80% aller HTTP Requests sind 503er
11
Klassisches Monitoring
… Probleme

12. › Container/VMs sind Wegwerfprodukt
› Container haben keine festen Hostnamen oder IPs
› Ein Monitoring-Agent pro Container?
› Ein Monitoring-Agent pro Kubelet?
12
Klassisches Monitoring
… Probleme

13. 13
Prometheus
Application
OS
Network
Node Exporter
SNMP Exporter
Prometheus

14. › Static File
› Kubernetes API
› Consul
› DNS (A / AAAA / SRV)
14
Prometheus
… wie findet es Exporter?

15. 15
Prometheus
… Metrik
http_count
{
}
731321
Metrikname
Wert

16. 16
Prometheus
… Metrik
# HELP Total Number of HTTP Requests
# TYPE http_count counter
http_count
{
}
731321
Dokumentation

17. 17
Prometheus
… Metrik
# HELP Total Number of HTTP Requests
# TYPE http_count counter
http_count
{
handler="/ui/static",
instance="10.254.65.34:9100",
job="physical_hosts",
rack="fra01/v1"
}
731321
Label

18. › Angelehnt an SQL
› Aggregationen über Labels
› Mathematische Funktionen
› Range und Offset Selektoren
18
Prometheus
… PromQL

19. 19
Prometheus
… PromQL Aggregationen
Query:
sum by (rack) ( http_count{handler="/ui/static"} )
Beispiel:
http_count{handler="/ui/static",rack="a", i="a"} 5
http_count{handler="/ui/static",rack="a", i="y"} 5
http_count{handler="/ui/static",rack="b", i="z"} 5
Resultat: {rack="a"} =10, {rack="b"} = 5

20. 20
Prometheus
… PromQL Funktionen
rate( http_count{handler="/ui/static"} [1m] )
HTTP Requests pro Sekunde
für die URI /ui/static

21. 21
Prometheus
… PromQL Offset Selektoren
http_count – ( http_count offset 5m)
Differenz der HTTP Requests
zwischen jetzt und vor 5 Minuten

22. › Alarme
› Dashboards
› Third Party Tools
22
Prometheus
… PromQL wofür?

23. ALERT rate(http_count[1m]) < 1
FOR 5m
LABELS {level="warn“, component= "web"}
ANNOTATIONS {summary="HTTP down {{$labels.instance}}"}
23
Prometheus
… PromQL Alarm

24. › Unix Philosophie
› Grafana
› AlertManager
24
Prometheus
… Dashboards und Alarm Management

25. › Langzeitspeicherung
› Datenreplikation
25
Prometheus
… welche Probleme löst es nicht?

26. › Libraries für viele Sprachen
› OS, MySQL, Memcached, RabbitMQ, IPMI, SNMP,
Apache, Github, …
26
Prometheus
… Exporter

27. Demo Time
27

28. › Konfiguration über die Service Discovery macht das
Monitoring genauso flexibel wie die Umgebung
› Prometheus wurde für dynamische Umgebungen
geschrieben
28
Fazit

29. Vielen Dank
Christoph Petrausch
Linux Systems Engineer
Slides & Code:
github.com/hikhvar/prometheus-
kubernetes-demo
christoph.petrausch@inovex.de

30. jobs@inovex.de
www.inovex.de/jobs
+49 721 619 021 50
Wir suchen Verstärkung in den Bereichen
• Digital Consulting
• Web Frontend & Backend
• Replatforming
• Apps & Smart Devices
• Big Data
• Data Science
• Search
• Business Intelligence
• DevOps
• Cloud
• Operations
Durchstarten
bei inovex