Dennis verriet uns in seiner Session auf dem #eccj15 anhand einer Magento Testinstallation, wie mit Hilfe von Elasticsearch, Logstash und Kibana Logdatein übersichtlicher und durchsuchbar werden. Er erklärte, wie alle dazugehörigen Komponenten installiert werden müssen und zeigte, wie man diese Informationen aus dem Onlineshop in Kibana auswerten und grafisch darstellen kann.

2. Das Ende der Logfiles
Das Ende der Logfiles
mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Dennis Kasparek
BA-Student
TRITUM GmbH

3. Was ist das Ziel?

4. Was kann man loggen?
 Zugriffe (access.log)
 Fehler (error.log)
 Änderungen
 Installationsvorgänge
 Eigene Daten
 …

5. Wie logge ich nun effektiver?
 Antwort: ELK-Stack
 Elasticsearch
 Logstash
 Kibana

6. Gibt es auch Alternativen?

7. Was ist Elasticsearch?
 Verteilte Suchsoftware
 Basiert auf Apache Lucene
 Bietet neben Volltextsuche auch analysierte und strukturierte Suche
 Sehr gut skalierbar
 Sehr schnell

8. Was ist Logstash?
 Aufgabe: Annahme, Verarbeitung und Weiterleitung
 Möglichkeiten: Input, Filter, Output
 Mögliche Inputs: file, udp, tcp, syslog
 Mögliche Filter: grok, mutate, geoip
 Mögliche Outputs: tcp, udp, elasticsearch

9. Was ist Kibana?
 Oberfläche für Elasticsearch
 Große Anzahl an verschiedenen Statistiken
 Aktuelle Version: 4
 Größte Neuerungen: abhängige Statistiken
 Dashboards von Version 3 nicht kompatibel

10. Wie installiere ich das alles?
 Gut dokumentierte Installationsanleitungen
 Wichtig: Absicherung!
 Logstash: iptables
 Elasticsearch: nur lokal erreichbar
 Kibana: Reverse Proxy und .htaccess

11. Wie sende ich Logs an den Logserver?
 Logstash (Forwarder)
 Rsyslog
 FireGento Logger (für Magento)

12. INPUT FILTER OUTPUT
input {
udp {
port => XXXXX
codec => json {
charset =>
"UTF-8"
}
}
}
filter {
grok {
match => ['message',
'%{COMBINEDAPACHELOG}']
}
geoip {
source => "clientip"
target => "geoip"
add_field => [ "[geoip][coordinates]",
"%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]",
"%{[geoip][latitude]}" ]
}
mutate {
convert => [ "[geoip][coordinates]", "float" ]
}
}
output {
elasticsearch {
host => "127.0.0.1"
}
}
Was passiert auf dem Logserver?

13. Und zuletzt: Wie sieht das alles jetzt aus?
LIVE-DEMO