Release with confidence

1. Release with confindence using Sakuli 2
Sven Hettwer
Senior Software Engineer
22.10.2019

2. Agenda
• Marktvorteile durch Testautomatisierung
• Arten von Softwaretests
• Continuous deployment
• Sakuli 2 – End-to-End Application Testing and Monitoring
• Live Demo
• Schlüsselfaktoren

3. Marktvorteile durch
Testautomatisierung

4. Marktvorteile durch Testautomatisierung
„In software testing, test automation is the use of software separate from the software
being tested to control the execution of tests and the comparison of actual outcomes
with predicted outcomes.“
en.wikipedia.org

5. Vertrauen
• Reproduzierbarere Ergebnisse
• Höhere Regressionssicherheit
• Weniger unerkannte Fehler im
Produktivbetrieb
• Höhere Rate an
Weiterempfehlungen
Zeitvorteile
• Schnellere Testdurchführung
• Schnelleres Feedback
• Schnellere Entwicklungszyklen
• Reduzierte Time-To-Market
Direkte
monetäre Vorteile
• Reduzierte Mannstunden
• Bessere Skalierbarkeit der
Ressourcen
• Kapazitäten für Innovation
• Hohe Kundenzufriedenheit
• Stabilerer Umsatz
• Reduzierte 3rd lvl Aufwände
1
2
3

6. Arten von Softwaretests

7. Arten von Softwaretests – Die Testpyramide
Manual Tests
Unit Tests
Integration Tests
E2E Tests

8. Arten von Softwaretests – Die Testpyramide
Manual Tests
Unit Tests
Integration Tests
Anzahl der Tests
Anzahl der Szenarien
Isolation der Tests
Zeitaufwand
E2E Tests

9. Arten von Softwaretests – Die Testpyramide
Manual Tests
Unit Tests
Integration Tests
High-level
(domänenspezifisch)
Low-level
(technisch)
Anzahl der Tests
Anzahl der Szenarien
Isolation der Tests
Zeitaufwand
E2E Tests

10. Arten von Softwaretests – Wie funktionierts?

11. Wie funktionieren Unit-Tests? – Die heimische Probe
• Sind nah am Code
• Testen konkrete Methoden
• Testen sehr kleine isolierte Testfälle
• Gibt es in hoher Anzahl
• Sehr geringe Laufzeit

12. Wie funktionieren Integrationstests? – Die Orchesterprobe
• Betrachten ganze Softwarekomponenten
• Überprüfen das Zusammenspiel der Software
• Testen komplexe Testfälle
• Benutzen die Schnittstellen der Software
• Übertragen echte Daten (im besten Fall)
• Gibt es in geringerer Anzahl als Unit Tests
• Höhere Laufzeit als Unit Tests

13. Wie funktionieren Integrationstests? – Die Orchesterprobe
Nachrichten

14. Wie funktionieren E2E Tests? – Die Generalprobe
• Betrachten ganze Softwaresysteme
• Testen Software von „Ende zu Ende“
• Überprüfung aus der Sicht des Benutzers
• Testen Critical-Paths
• Haben hohe Durchlaufzeiten

15. Wie funktionieren E2E Tests? – Die Generalprobe

16. Continuous deployment

17. Continuous deployment
„Just automate everything from code change to production.“

18. Continuous deployment – Marktvorteile
• Änderungen sind binnen Minuten in Produktion
• Anpassung an den Markt binnen Minuten
• Schnelles Feedback bzgl. Änderungen des Kundenverhaltens
• User experience Feedback
• Call-To-Action Resultate
• Avg. session duration
• Conversion rates
• Stark reduzierter Turnaround für
neue Funktionalitäten

19. Continuous deployment – There is no free lunch

20. CI – Continuous integration
• Bekanntgeworden durch „Extreme Programming“
• Kurze Entwicklungszyklen
• Erstellen von Artefakten nach jeder Änderung
• Automatisches testen der Artefakte
• Zielsetzung
• Schnelles Feedback bzgl. Änderungen
• Reduzierung von Mergekonflikten
Branch
Change
MergeBuild
Test

21. CD – Continuous delivery
• Ziel: Stets ausliefern können
• Erweiterung von CI
• Installation auf einem Testsystem
• Durchführen von Akzeptanztests
Branch
Change
Merge
BuildTest
Deploy to
staging
Acceptance
tests

22. Continuous deployment
Continuous delivery
Continuous integration
Continuous deployment

23. End-to-End Application
Testing and Monitoring

24. Motivation
• Automatisierte Tests von Anwendungen aus User-Sicht:
• Absicherung kritischer Geschäftsprozesse
• Messung der Performance
• Ziele:
• Keine technischen Hürden
• Fokus auf continuous deployment
• Anbindung an Monitoringsysteme
• Plattformunabhägigkeit (Linux/Windows/MacOS/Docker)
• Cloud first

25. Reminder – Die Testpyramide
Manual Tests
Unit Tests
Integration Tests
High-level
(domänenspezifisch)
Low-level
(technisch)
Anzahl der Tests
Anzahl der Szenarien
Isolation der Tests
Zeitaufwand
E2E Tests

26. End-to-End Use Cases

27. Sakuli Core
• Open Source (Apache-2.0 license)
• Web und native Tests
• CI/CD ready
• Robot process automation (RPA)
• Kürzere Tests/Automatisierungen
• Modernste Technologien

28. Sakuli Enterprise
• Sakuli Container
• S2I OpenShift Image
• Monitoring Forwarder
• Enterprise Support
• Maintenance
• SLAs

29. Business Use-Cases

30. Runtimes
Local Cloud / PaaS

31. Integrationen

32. OMD Monitoring Integration
• Einspeisung von Messdaten in Monitoring
• Performance Metriken und Graphen
• Automatisiere, regelmäßige Tests
• Screenshots im Fehlerfall
• Mail / Chat Benachrichtigungen

33. CI Pipeline Integration
• Skalierbare Testfarm über z.B. OpenShift
• Ausführbar durch den Benutzer
• Ausführung über z.B. Webhooks
• Bereitstellung der Testumgebung
• Ausführung der E2E-Tests
• Mail / Chat Benachrichtungungen
• Live view possible

34. Demo

35. Schlüsselfaktoren

38. Spezialisten.
Umsetzer.
Innovationstreiber.

39. Vielen Dank!

40. Fragen?

41. Try me!

42. ConSol
Consulting & Solutions Software GmbH
St.-Cajetan-Straße 43
D-81669 München
Tel.: +49-89-45841-100
info@consol.de
www.consol.de
Twitter: @consol_de