qaware.de
Observability: Der Schlüssel für
Threat Detection, Mitigation und Analyse
Mario-Leander Reimer
mario-leander.reimer@qaware.de
@LeanderReimer

2
Mario-Leander Reimer
Principal Software Architect
@LeanderReimer
#cloudnativenerd #qaware
#gernperDude

Überwacht ihr eure IT Systeme oder Apps auf
ungewöhnliches Verhalten oder Security Alerts?
ⓘ Start presenting to display the poll results on this slide.

War in den letzten 12 Monaten ein Cyber-Angriff auf
eure IT-Systeme oder Apps erfolgreich?
ⓘ Start presenting to display the poll results on this slide.

QAware | 5
Bild von Gerd Altmann auf Pixabay

Observability
die Fähigkeit, die aktuellen Zustände eines Systems rein durch
Informationen aus Ausgabedaten, also Sensordaten, zu messen und
bewerten zu können

Observability ist nicht nur wichtig für den zuverlässigen und
effizienten Betrieb, sondern auch den sicheren Betrieb.
QAware | 7
Software Product
Quality
(ISO 25010)
● Modularity
● Reusability
● Analysability
● Modifiability
● Testability
Maintainability
● Confidentiality
● Integrity
● Non-repudiation
● Authenticity
● Accountability
Security
● Adaptability
● Installability
● Replaceability
Portability
● Co-existence
● Interoperability
Compatibility
● Maturity
● Availability
● Fault Tolerance
● Recoverability
Reliability
● Time Behaviour
● Resource Utilization
● Capacity
Efficiency
● Completeness
● Correctness
● Appropriateness
Functional Suitability
● Operability
● Learnability
● UI Aesthetics
● Accessibility
Usability

Die 3 Säulen guter Observability: Logs, Metriken, Traces.
QAware | 8
■ Logs: textuelle Aufzeichnung eines Events das zu einem Zeitpunkt stattgefunden hat
– Debug Logs, Access Logs, Audit Logs, Transaction Logs, …
– Beinhaltet einen Zeitstempel und eine Payload die zusätzlichen Kontext liefert
– Zahlreiche Formate: unstrukturiert, strukturiert, binär
■ Metriken: ein einfacher Zahlenwert der über ein Zeitintervall gemessen wird
– kann weitere Attribute wie einen Zeitstempel, Einheit, Name und KPIs enthalten
– Counter, Gauge, Meter, Histogram oder Timer
– Metriken sind strukturiert und häufig hierarchisch
■ Traces: zeigen den vollständigen Weg einer Anfrage durch ein verteiltes System
– jede Operation (ein "Span") hat eine ID, Namen, Dauer und zusätzliche relevante Attribute
Wichtig: Logs, Metriken und Traces müssen miteinander in Beziehung gesetzt werden um Probleme im
Betrieb ganzheitlich analysieren zu können.

Kernfunktionen moderner Observability Implementierungen
QAware | 9
■ Instrumentation: Messwerkzeuge die Telemetriedaten von Knoten, Containern, Services und
Anwendungen des Systems erfassen. Idealerweise Transparent innerhalb der Infrastruktur
■ Data Collection: sammeln, korrelieren, verarbeiten und speichern der Telemetriedaten. Ermöglicht
den schnellen Zugriff und die Suche für spätere Analysen
■ Reporting: Aufbereitung und Anzeige der verarbeiteten und korrelierten Telemetriedaten und
Zeitreihen auf Dashboards
■ Alerting: automatisches Alerting und triggern von Incident Responses (PagerDuty, ITSM, Slack)
basierend auf definierten Regeln.
■ Anomaly Detection: der Einsatz von Machine Learning Modellen ermöglicht die automatische
Priorisierung und Erkennung von (unbekannten) Problemen um das Alerting und den Incident
Response zu beschleunigen

CNCF Observability and Analysis - Logging
QAware | 10
https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category
Logging Collector /
Unified Logging Layer
Log Aggregation System
Das L im ELK Stack.
Erfassen, Parsen und
Anreichern von Logs

Structured Logging. Behandle deine Log Events als Daten
anstatt Plain Text.
QAware | 11
■ Was ist falsch an unstrukturierten Plain Text Logs?
– Viele unterschiedliche Formate. Parsen und Suchen ist mühsam, aufwändig und langsam.
– Wichtige Kontextinformationen sind Teil vom Text oder fehlen ganz.
■ Strukturierte Logs haben viele Vorteile.
– Easy Parsing. Damit einfache Weiterverarbeitung für BI und Analytics.
– Detailed Context. Unterstützung für zusätzliche Metadaten und Kontext Attribute
– Easy Search. Indizierung und Suche auf strukturierten Daten und Attributen.
– Easy Readability. Nicht nur für Maschinen, auch Admins und Devs können unter Einsatz der
richtigen Tools strukturierte Logs "lesen".
– Easy Transformation. Anonymisierung, Maskierung und Filterung von sensiblen Daten und
Attributen ist schnell und einfach umgesetzt (z.B. mit FluentD)
– Gute Unterstützung für Structured Logs in allen gängigen Frameworks und Technologien
– Üblicherweise als JSON (manchmal auch sowas wie Protobuf oder Avro)

CNCF Observability and Analysis - Monitoring
QAware | 12

Technische Metriken sind gut. Fachliche Metriken sind besser,
besonders zur Erkennung von Angriffen.
QAware | 13
■ Technische Metriken können ohne großen Aufwand von vielen Frameworks und Technologien
automatisch per Konfiguration exponiert werden.
■ Zur Bewertung ob ein Angriff oder eine abnormale Systemnutzung vorliegt braucht es jedoch häufig
zusätzliche fachliche Metriken, spezifisch für das jeweilige System.
■ Standard APIs ermöglichen solche fachlichen Metriken sehr einfach zusätzlich zu exponieren.
■ Der Fachbereich oder PO kennen die “normalen” Nutzer am besten. Fachlichen Metriken geben
zusätzlich Aufschluss über die Nutzung und Akzeptanz einer Anwendung.
– Fachliche Transaktionen pro Tag / Stunde
– Suchanfragen pro Nutzer pro Session
– Anzahl fehlgeschlagener Loginversuche
– ... et al.

CNCF Observability and Analysis - Tracing
QAware | 14
https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category
Wird ersetzt durch
OpenTelemetry
Easy-to-use
Distributed Tracing
Backend
Die Mutter aller Distributed
Tracing Systems
(created by Twitter)
Standard, APIs und SDKs
für Telemetry Daten
(Logs, Metriken, Traces)
Distributed
Tracing
Backend

Grafana based Observability Stack Architecture
QAware | 15
Ping Service
Pong Service
HTTP
GET
Traces
Traces
Metrics

lreimer/observability-devsec22
lreimer/observability-spring-boot

qaware.de
QAware GmbH
Aschauer Straße 32
81549 München
Tel. +49 89 232315-0
info@qaware.de
twitter.com/qaware
linkedin.com/company/qaware-gmbh
xing.com/companies/qawaregmbh
slideshare.net/qaware
github.com/qaware