Testowanie eksploracyjne slajdy z warsztatów jakie Radosław Smilgin z testerzy.pl przeprowadziła na TestWarez 2011

1. Testowanie w Projektach Internetowych
Zbiorowe testy
eksploracyjne
Wersja 1.06

2. Trener
• Radosław Smilgin
- tester i test manager
•
•
•
•
•
•
W testowaniu od 2002 roku
Mówca konferencji, autor publikacji
Tłumacz sylabusa oraz pytań do ISTQB
Fan śledzenia i użyteczności
radoslaw.smilgin@testerzy.pl
http://smilgin.pl [w budowie]
© testerzy.pl
2

3. Projekty
© testerzy.pl
3

4. Założenia
Uczestnik wie czym jest:
• testowanie
• przypadek testowy
Uczestnika posiada sprzęt do testowania.
© testerzy.pl
4

5. ZADANIE
Co będziemy testować?
© testerzy.pl
5

6. Jak testujemy oprogramowanie w testerzy.pl?
[historia]
© testerzy.pl
6

7. Jak testujemy oprogramowanie w testerzy.pl?
1 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: Testowanie jest nieskończone, więc
musimy posiadać więcej danych by dokonać
wyceny przygotowania planu, przypadków
testowych, skryptów, raportu…
[sygnał przerwanego połączenia]
© testerzy.pl
7

8. Jak testujemy oprogramowanie w testerzy.pl?
2 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: To zależy…
Klient: Ale konkretnie, więcej niż 10 złotych?
testerzy.pl: Tak, ale otrzyma Pan plan,
przypadki testowe…
[sygnał przerwanego połączenia]
© testerzy.pl
8

9. Jak testujemy oprogramowanie w testerzy.pl?
3 rok działalności
Klient: Dzień dobry. Ile kosztuje testowanie?
testerzy.pl: 10 złotych.
Klient: A co za to mogę otrzymać?
testerzy.pl: 25 minut testów eksploracyjnych
Klient: A co możecie zrobić w tym czasie?
testerzy.pl: Możemy znaleźć „najwidoczniejsze”
błędy aplikacji.
Klient: Poproszę.
© testerzy.pl
9

10. Jak testujemy oprogramowanie w testerzy.pl?
•E k s p l o r a c y j n i e
• Dlaczego?
•
•
•
•
Cena
Jakość (liczona jako ilość znalezionych błędów)
Brak specyfikacji
Szybki rezultat
© testerzy.pl
10

11. Testowanie eksploracyjne
nieformalna technika projektowania testów, w
której tester projektuje testy w czasie, gdy są
one wykonywane i wykorzystuje informacje
zdobyte podczas testowania do projektowania
nowych i lepszych testów.
© testerzy.pl
11

12. Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,
gdy są one wykonywane i
wykorzystuje informacje
zdobyte podczas testowania
do projektowania nowych i lepszych testów
© testerzy.pl
12

13. Testowanie eksploracyjne
nieformalna – ad hocowa (?), nieplanowana
(?), nieprzygotowana (?), bez procesu, bez
planów, przypadków, skryptów, pokrycia
© testerzy.pl
13

14. Testowanie eksploracyjne
nieformalna technika projektowania testów ?
© testerzy.pl
14

15. Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester – musi być doświadczony,
musi mieć wiedzę, musi mieć motywację,
musi umieć testować oprogramowanie, musi
lubić swoją pracę, musi mieć umiejętności
analityczne, musi ewaluować ryzyko, musi
używać narzędzi, musi mieć zmysł
dostrzegania zagadkowych i nietypowych
zachowań
© testerzy.pl
15

16. Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,
gdy są one wykonywane –
uruchomienie
oprogramowania z intencją
szukania błędów
© testerzy.pl
16

17. Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,
gdy są one wykonywane i
wykorzystuje informacje
- uczy się, dowiaduje,
poznaje, odkrywa, analizuje
© testerzy.pl
17

18. Testowanie eksploracyjne
nieformalna technika projektowania testów,
w której tester projektuje testy w czasie,
gdy są one wykonywane i
wykorzystuje informacje
zdobyte podczas testowania
do projektowania nowych i lepszych testów –
uczy się na błędach
© testerzy.pl
18

19. Testowanie eksploracyjne
Idealne rozwiązanie na outsourcing testowy
© testerzy.pl
19

20. ZADANIE – ZNAJDŹ BŁĄD
© testerzy.pl
20

21. ZADANIE – ZNAJDŹ BŁĄD
© testerzy.pl
21

22. Testowanie eksploracyjne
• Cem Kaner („Testing Computer Software”):
• „Exploratory testing” - użyte pierwszy raz
• „Imagine crime scene investigators
• (real investigators of real crime scenes)
• following a script.
• How effective do you think they would be?”
• „Learning, design, execution, interpretation”
© testerzy.pl
22

23. Testowanie eksploracyjne
• James Bach („Exploratory Testing Explained”):
• „Exploratory software testing is a powerful
approach, yet widely misunderstood. In some
situations, it can be orders of magnitude more
productive than scripted testing.”
• „(…) simultaneous learning, test design and
test execution.”
• „Over a period of time, a tester interacts with a
product to fulfill a testing mission, and reporting
results.”
• „A bug is something that bugs somebody.”
© testerzy.pl
23

24. Testowanie eksploracyjne
• James Whittaker („Exploratory Software
Testing”):
• „Testing without a pre-defined test plan.”
• „ Overinvesting in testing too early can mean a lot
of things get thrown away.”
© testerzy.pl
24

25. Testowanie eksploracyjne
Testowanie bez lub ze znikomą ilością dokumentacji
=
BRAK WYROCZNI TESTOWEJ
© testerzy.pl
25

26. ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?
[happyday.pl]
• Udowodnij.
© testerzy.pl
26

27. ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?
[materiały szkoleniowe ISTQB]
• Udowodnij.
© testerzy.pl
27

28. ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?
• Udowodnij.
[instalacja produktu Logitech]
© testerzy.pl
28

29. ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?
[zlastrona.org]
• Udowodnij.
© testerzy.pl
29

30. ZADANIE – ZNAJDŹ BŁĄD
• Czy to jest błąd?
[testcompetence.com w IE6]
• Udowodnij.
© testerzy.pl
30

31. Testowanie eksploracyjne: Zalety
•
•
•
•
Szybkie
(Dość) efektywne
Efektowne
Redukuje nakłady pracy związane z
utrzymaniem wcześniej przygotowanej
dokumentacji
• Idealne w środowisku internetowym
© testerzy.pl
31

32. Testowanie eksploracyjne: Wady
•
•
•
•
•
•
•
•
•
Brak powtarzalności
Brak części miar
Duże wymagania na testera
Nie sprawdza się w części organizacji
Nie wpisuje się w formalny proces
Może nie znaleźć najważniejszych błędów
Może pominąć obszary do testowania
Brak możliwości generowania pokrycia
Brak wiedzy historycznej
© testerzy.pl
32

33. Testowanie eksploracyjne: Składowe
• Tester eksploracyjny
• Testowany obiekt
• Narzędzia wspomagające
© testerzy.pl
33

34. Testowanie eksploracyjne: Narzędzia
• Screenshot:
– Prnt Scr (Prnt Scr+Alt) + narzędzie do grafiki
– Czasowy
• Wink http://www.debugmode.com/wink/
– FastStone Capture
• http://www.faststone.org/FSCaptureDetail.htm
© testerzy.pl
34

35. Testowanie eksploracyjne: Narzędzia
• Wideo
– CamStudio http://camstudio.org/
– FastStone Capture
• http://www.faststone.org/FSCaptureDetail.htm
© testerzy.pl
35

36. Testowanie eksploracyjne: Narzędzia
• Rejestracja działań [dla użytkowników
Windows 7]
– psr.exe
– Monitor wydajności
– Monitor zasobów
© testerzy.pl
36

37. Testowanie eksploracyjne: Narzędzia
• Wtyczki dla FireFox
https://addons.mozilla.org/pl/firefox/
–
–
–
–
Selenium IDE
FireBug
YSlow
…
© testerzy.pl
37

38. ZADANIE – PRZETESTUJ MNIE!
• Podział na dwie grupy:
• GRUPA 1
• GRUPA 2
• Napisz przypadki
testowe dla funkcji
zegara i daty w
systemie Windows.
© testerzy.pl
• Przetestuj funkcje
zegara i daty w
systemie Windows.
39

39. ZADANIE – PRZETESTUJ MNIE!
Masz: … minut
© testerzy.pl
40

40. Testowanie eksploracyjne
Rozwiązanie.
1. …
2. …
3. …
4. …
5. …
6. …
7. …
…
Obserwacje.
1. …
2. …
3. …
4. …
5. …
6. …
7. …
…
© testerzy.pl
41

41. Testowanie eksploracyjne: Zarządzanie
• SBTM Session Based Test Management
– Sesje testowe (test session)
•
•
•
•
60-90 minut
Nieprzerwane
Zorientowane na statut
Odkrywanie nowych szans
– Statut testu (test charter)
• Misja i taktyka testowania
• Deklaracja celów i pomysłów
– Podsumowanie sesji (Session Sheet) – wyniki: notatki,
defekty, „znaleziska”, metryki (czas na testy, defekty)
• Log – co się wydarzyło
– Spotkanie z liderem testów w celu podsumowania
© testerzy.pl
42

42. Testowanie eksploracyjne: Zarządzanie
• Statut
• „Test all fields that allow data entry (you know the drill:
function, stress, and limits, please).”
• „Check UI against Windows interface standards.”
• „Test integration with external applications, especially
Microsoft Word.”
http://www.satisfice.com/sbtm/demo/reports/status.htm
• Wynik
– Minimum: raport z defektów
– Pełny (podsumowanie sesji): notatki i raporty
© testerzy.pl
43

43. Testowanie eksploracyjne: Zarządzanie
• Podsumowanie sesji:
–
–
–
–
–
–
–
–
Statut (misja i obszary)
Imię testera
Data i czas rozpoczęcia
Podział zadań (metryka TBS: Test design and execution,
bug investigation and reporting, and session setup)
Pliki danych
Notatki testowe
Znaleziska
Defekty
© testerzy.pl
44

44. SBTM: narzędzia
• Session Tester
© testerzy.pl
45

45. SBTM: narzędzia
• RapidReporter
– http://testing.gershon.info/reporter/
– Zapisywanie sesji eksploracyjnej
– [intuicyjność - mierny]
© testerzy.pl
46

46. Testowanie eksploracyjne: Narzędzia
• RapidReporter
– http://testing.gershon.info/reporter/
– Zapisywanie sesji eksploracyjnej
– [intuicyjność - mierny]
© testerzy.pl
47

47. Testowanie eksploracyjne: Narzędzia
• RapidReporter
– Zapisywanie sesji w czytelniejszym formacie:
© testerzy.pl
48

48. ZADANIE
• Testowanie z podziałem na misje
– Definicja misji
– Wybór misji do testowania
© testerzy.pl
49

49. Materiały i źródła
• http://www.satisfice.com/sbtm/
• http://www.satisfice.com/blog/archives/77
• http://www.satisfice.com/articles/what_is_et.shtml
• http://testingeducation.org/
© testerzy.pl
50

50. Testowanie w Projektach Internetowych
Dziękuję za obecność i uwagę
Pytania / odpowiedzi ?
© testerzy.pl
51