Alle sprechen von Graphite - was kann ich damit machen? Dieser Vortrag versucht die Architektur von Graphite vorzustellen und einen Überblick über das vorhandene Ökosystem zu geben.

1. Monitoring mit
Graphite

2. Hallo!
35 Jahre alt
Erst Unixadmin, dann Netzwerker
Spielplätze sind Web, Enterprise und Service Provider
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 2

3. Worum gehts?
Graphite, Aufzucht und Pflege
Wie kriege ich Daten in Graphite rein?
Was kann ich mit Graphite tun?
Wie bekomme ich meine Daten aus Graphite wieder raus?
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 3

4. Was ist Graphite
Graphite ist eine Time-Series Datenbank
Graphite speichert einen Wert für eine Metrik für ein
Zeitintervall
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 4

5. Was ist Graphite?
carbon und whisper sind in python geschrieben
Die Webapp ist eine Django Applikation
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 5

6. Wer entwickelt Graphite?
Chris Davis begann 2006 mit der Entwicklung und hat das
Projekt 2008 unter der Apache 2.0 Lizenz veröffentlicht.
Aktuelle Entwicklungen findet man unter
https://github.com/graphite-project
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 6

7. Was kann ich mit Graphite machen?
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 7

8. Welche Komponenten hat Graphite
carbon
whisper
graphite webapp
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 8

9. whisper? carbon?
carbon sorgt dafür, daß Daten in whisper gespeichert
werden.
Die webapp kann die in whisper gespeicherten Daten
anzeigen, als Graph, CSV oder JSON
carbon besteht aus 3 Teilen, aber dazu später mehr.
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 9

10. Performance?
carbon mag SSDs
Keinen drehenden Rost verwenden!
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 10

11. Setup @ XING
HP DL380G8
6 mal 240G SSD
ca. 18000 metrics/s, gespiegelt
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 11

12. Daten rein?
carbon kennt 2 Datenformate - Text & Pickle
Text Format
metric value timestamp
> servers.webserver.load 1.2 1416061851
metric value
> servers.webserver.load 1.2
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 12

13. Daten rein
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 13
Client carbon-cache
whisper
TCP/2003

14. Scaling carbon
Client TCP/2003 carbon-relay
carbon-cache
carbon-cache
carbon-cache
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 14

15. Scaling carbon
Client TCP/2003 carbon-relay
carbon-cache
carbon-cache
carbon-cache
carbon-cache
carbon-cache
carbon-cache
carbon-relay carbon-relay
carbon-relay
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 15

16. carbon-aggregator
carbon-aggregator kann vor carbon-cache oder carbon-relay
geschaltet werden, um Metriken zu aggregieren.
Damit kann die I/O Last verringert werden und Metriken
können in kürzeren Intervallen geschickt werden
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 16

17. whisper – oder wie Graphite Daten speichert
whisper ist ähnlich wie RRD
Feste Dateigröße
Auflösung wird über die Zeit unschärfer
Beliebig konfigurierbar:
–10s Auflösung für 6 Stunden
–60s Auflösung für 7 Tage
–5 Minuten Auflösung für 2 Monate
–15 Minuten Auflösung für 2 Jahre
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 17

18. Warum whisper und nicht RRD?
RRD kann nicht mit Updates umgehen,
die vor dem letzten Update lagen
Wenn RRD nicht regelmäßige Updates bekommt,
können Daten verloren gehen
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 18

19. Nachteile?
whisper ist langsamer als RRD
whisper hätte die Daten gerne im höchsten
Auflösungsintervall, sonst gibt es Lücken
Kommen Metriken öfter als das konfigurierte Intervall,
gelten die letzten, die in dem Intervall geschrieben
wurden!
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 19

20. Wer unterstützt denn Graphite?
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 20
Brightcove Diamond

21. Daten raus
Graphite Webapp
• Bild
• CSV
• JSON
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 21

22. Webfrontend
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 22

23. Graphen
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 23

24. Funktionen
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 24

25. Rechnen mit graphite
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 25

26. Grafana
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 26

27. Dusk
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 27

28. Sonstiges
Tessera
• Dashboards aus Graphite Daten
Seyren
• Alarmierung anhand von Graphite Daten
Cabot
• Monitoring Framework, das auch Graphite Daten
beachten kann
20.11.14 // Monitoring mit Graphite // Falk Stern // OSMC 2014 28

29. www.xing.com
Fragen?

30. www.xing.com
Danke für eure
Aufmerksamkeit!