Kamil Ruczyński - W jaki sposób ocenić czy test, który napisaliśmy dokładnie weryfikuje poprawność kodu? Można napisać test do testu i o tym w tej prezentacji, czyli o tak zwanych testach mutacyjnych.

1. Testowanie
testów
Testy mutacyjne

2. Kamil
Ruczyński
Senior Backend Developer
Twitter: @sarvendev
Blog PL: sarvendev.com
Blog EN: sarvendev.com/en/

3. Jakość kodu
● Clean code
● SOLID
● GRASP
● DRY
● KISS
● itp.

4. Zaniedbana jakość testów
● Rzadko odpalane
● Nieprzechodzące testy
● Niedeterministyczne testy
● Brak testów
● Niedokładne testy
● “Kruche testy”

5. Piramida testów

6. Niedokładne testy
● Czy wystarczy
wysoki code
coverage?

7. 100% code coverage

8. Testy mutacyjne
● Tworzenie “mutantów”
● Zabicie mutantów - jeśli zmutowany kod
powoduje załamanie testów
● Mutanty, które przetrwały definiują jakość
testów

9. Tworzenie mutanta

10. Nazwa Zmiana z Zmiana na
Plus + -
TrueValue true false
GreaterThan > >=
Equal == !=
Przykładowe mutacje

11. PHP - Infection framework
● PHP 7.1+
● PHPUnit
● PhpSpec
● Codeception
● Xdebug/phpdbg/pco

12. Uruchomienie i konfiguracja

13. Playground
https://infection-php.dev/

14. Prosty przykład

15. PHPUnit

16. Infection

17. Mutators

18. Bardziej skomplikowany kod

19. Wynik z Infection

20. infection.log

21. Poprawa testów

22. Brak pokrycia testami

23. Metryki

24. Jak to działa?
● AST (Abstract Syntax Tree) | php-parser
● Aplikacja odpowiednich mutatorów
● Utworzenie zmutowanego kodu na podstawie nowego AST
● Wykonanie testów dla zmutowanego kodu

25. Rodzaje mutacji
● Function Signature
● Unwrap Function
● Binary Arithmetic
● Round Family
● Boolean Substitution
● Conditional Boundaries
● Equal or Identical Checks
● Negated Conditionals
● Operator
● Increments
● Return Values
● Removal Mutators
● Loop
● Sorting
● Literal Numbers
● Exceptions
● Type Casting
● Regex
● Extensions

26. Mutator “Plus”

27. False positives

28. Przydatne opcje
● Wykonywanie tylko dla zdefiniowanych plików
● Wykonywanie równoległe
● Uruchamianie podczas CI

29. Zmienione pliki

30. Przykład Open Source
- Aeon Calendar
https://github.com/aeon-php/calendar

31. Aeon calendar - PHPUnit

32. Aeon calendar - Infection

33. Aeon calendar - Infection
Przetwarzanie równoległe, czyli z opcją -j${nproc}

34. Inne języki
● Java - Pitest
● Python - cosmic-ray
● Javascript - Stryker
● C++ - Mull
● Ruby - Mutant
● ...

35. Podsumowanie
● Code coverage nie jest dobrym miernikiem jakości testów
● Testy mutacyjne:
○ niewielkim kosztem dają użyteczny feedback na temat
jakości testów
○ są automatyczne
○ pomagają wykryć “martwy kod”
○ pomagają w refaktoryzacji testów

37. Dzięki