Workshop Logfile Analyse mit Splunk

@mindbox_dd@hannes3686
Logﬁle Analyse
mit Splunk

Aufbau von Logdaten
domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
mieten/ http/1.1" 301 29737 "-" "Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)"
Web Access Logﬁles erfassen jeden einzelnen Zugriff

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
HTTP User Agent =
Visitenkarte des Browsers
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
IP Adresse des Besuchers
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
IP Adresse des Besuchers
Achtung! Personenbeziehbare Daten.
https://www.heise.de/newsticker/meldung/BGH-verhandelt-zur-Zulaessigkeit-
von-IP-Adressen-Speicherung-auf-Websites-3625336.html
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
geladene Bytes
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
HTTP Status Code
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
aufgerufene URL
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
Zeitstempel
Aufbau von Logdaten

domain.de-2017-02-16:66.249.66.188 - - [16/Feb/2017:00:40:41 +0100] "GET /
Domain + Tag
Aufbau von Logdaten

Aufbau von Logdaten
jeder Zugriff = 1 Zeile
bedeutet Millionen von Datensätzen schon bei
mittelgroßen Websites
Logﬁle im *.txt Format ist schnell mehrere GB groß

Herausforderung

Lösung: Splunk
Business Intelligence Software => ideal für Big Data

Lösung: Splunk
Kostenlos: bis 500MB zusätzliche Daten / Tag

Herausforderung
!$#&%$
5GB!?

Gepackte Logdatei verwenden

… oder Logdatei verkleinern

Vorbereitung | Terminalbefehle

Vorbereitung | Logdatei verkleinern
1. Terminal aufrufen
2. In das Verzeichnis mit den entpackten Logdateien wechseln
3. Mit grep-Befehl relevante Zeilen in eine neue Datei kopieren
Mac

pwd - Gibt aus, in welchem Ordner man sich befindet
ls - Listet Dateien und Unterordner auf
cd Verzeichnisname - wechselt Unterverzeichnis
cd .. - wechselt ins übergeordnete Verzeichnis
Mac

Durchsucht alle Dateien im Verzeichnis & kopiert relevante
Googlebot-Zeilen in die neue Datei logfile.txt
Grep „66.249.“ *.*>logfile.txt
Mac

Vorbereitung | Logdatei verkleinern
1. Eingabeaufforderung aufrufen
2. In das Verzeichnis mit den entpackten Logdateien wechseln
3. Mit findstr-Befehl relevante Zeilen in eine neue Datei kopieren
Windows

pwd - Gibt aus, in welchem Ordner man sich befindet
ls - Listet Dateien und Unterordner auf
cd Verzeichnisname - wechselt Unterverzeichnis
cd .. - wechselt ins übergeordnete Verzeichnis
Windows

Durchsucht alle Dateien im Verzeichnis & kopiert relevante
Googlebot-Zeilen in die neue Datei logfile.txt
findstr /I /C:66.249 *.* >>logfile.txt
Windows

Splunk | Datenanalyse vorbereiten

Logdaten bei Splunk importieren

Logdaten bei Splunk importieren
einmalig, einzelne Datei
mehrere Dateien,
Verzeichnis überwachen

Typ der Datenquelle wählen: access_combined
Splunk zerlegt die Zeilen automatisch in ihre Bestandteile und indiziert sie

„Host“ definieren > beliebig definierbar, idealerweise wird
Domainname gewählt

„Index“ neu anlegen, sonst werden später Daten
verschiedener Server gemischt

Name definieren genügt

Splunk | Oberfläche
Befehlszeile Zeitraum wählbar
extrahierte Felder
Suchtreffer

Wechsel zwischen Diagrammen & tabellarischen Daten

unterschiedliche
Diagrammtypen wählbar

Splunk | Analysen
Jede Suche beinhaltet host & clientip, um
nur Google-Einträge zur richtigen Seite zu
analysieren.

Splunk | Analysen
Suche nach IP = 18.452 Ereignisse
Suche nach „googlebot“ = 19.082 Ereignisse
1. Generelles Crawl-Verhalten
host="MBXIT-256-HaRi.local" clientip="66.249.*" | timechart count by day

Splunk | Analysen
2. Welche URLs werden am häufigsten aufgesucht?
host="MBXIT-256-HaRi.local" clientip="66.249.*" | top 10 uri
Startseite, Favicon, robots.txt, Hauptkategorien
/ gut rankende Seiten
stehen hier irrelevante URIs? => ggf. Optimierungsbedarf f. interne Verlinkung

Splunk | Analysen
3. Mit welchen User-Agents greift der Bot am meisten zu?
host="MBXIT-256-HaRi.local" clientip="66.249.*" | top 10 useragent

Splunk | Analysen
4. Wird „Link Juice“ vergeudet? Gibt es Fehlerseiten?

Splunk | Analysen
4. Wird „Link Juice“ vergeudet? Gibt es Fehlerseiten?
host="MBXIT-256-HaRi.local" clientip="66.249.*" | stats count by status
4** - 5** vermeiden, 302-307 Codes prüfen
Status Codes erklärt unter: https://de.wikipedia.org/wiki/HTTP-Statuscode

Splunk | Analysen
5. Welche Seiten sind betroffen?
host="MBXIT-256-HaRi.local" clientip="66.249.*" status=404 OR status=410 OR
status=500 | stats count by uri
host="MBXIT-256-HaRi.local" clientip="66.249.*" status=302 OR status=307 |
stats count by uri
host="MBXIT-256-HaRi.local" clientip="66.249.*" status>301 status<400 | stats
count by status

Splunk | Analysen
6. Sind Status-Code Probleme zeitlich bedingt?
host="MBXIT-256-HaRi.local" clientip="66.249.*" status=500 | timechart count by date_hour
host="MBXIT-256-HaRi.local" clientip="66.249.*" status=404 | timechart count by date_hour

Splunk | Analysen
7. Sind Status-Code Probleme zeitlich bedingt?
host="MBXIT-256-HaRi.local" clientip="66.249.*" status=404 | timechart limit=4 count by date_hour

Splunk | Analysen
8. Auf welche Dateigrößen trifft Google am häufigsten?
host="MBXIT-256-HaRi.local" clientip="66.249.*" | top 30 bytes
Welche Größen treten am häufigsten auf?
5,7kb ist nicht groß - ggf. eine Ressource, die sehr oft
vorkommt und optimiert werden kann
host="MBXIT-256-HaRi.local" clientip="66.249.*" bytes=5729 | stats count by uri

Splunk | Analysen
9. Welche Requests produzieren die größte Datenlast?
host="MBXIT-256-HaRi.local" clientip="66.249.*" | stats max(bytes) count by uri

Splunk | Analysen
10. Welche HTML-URLs produzieren die größte Datenlast?
host="MBXIT-256-HaRi.local" clientip="66.249.*" uri!="*.pdf" AND uri!="*.jpg"
| stats max(bytes) count by uri
Bis zu 2,8MB für Quellcode!

Splunk | Analysen
11. Wie verhält sich Google beim Crawling von Parameter-URLs
host="MBXIT-256-HaRi.local" clientip="66.249*" uri="*?*" | timechart count by status

Splunk | Analysen
12. Welche Parameter begegnen Google am häufigsten?
neues Feld aus Logdaten extrahieren

Splunk | Analysen
Ich möchte einen regulären Ausdruck selbst schreiben
(?<=[?|&])+(?<parameter>[a-zA-Z0-9]+)

Splunk | Analysen
299 Zugriffe über utm-Source in 2 Tagen?
host="MBXIT-256-HaRi.local" clientip=„66.249.*" | chart count by param
utm-Parameter in interner Linkstruktur verwendet

Splunk | Analysen
12. Welche Parameter-URLs crawlt Google am häufigsten
Website-Events werden nicht über Analytics-Parameter getrackt!

Splunk | Monitoring
Auswertungen als Dashboard fürs Monitoring
jede Analyse lässt sich umwandeln

Splunk | Monitoring
Auswertungen als Dashboard fürs Monitoring

L e i p z i g , d e n 2 8 . N o v e m b e r 2 0 1 1
MÄRKTE VERSTEHEN
MARKEN ENTWICKELN:
DIE ZEBRA-GROUP

Workshop Logfile Analyse mit Splunk

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Semelhante a Workshop Logfile Analyse mit Splunk

Semelhante a Workshop Logfile Analyse mit Splunk (20)

Workshop Logfile Analyse mit Splunk