This document discusses exploratory testing techniques and how one company implemented exploratory testing. It defines exploratory testing as an approach rather than a technique. The company used exploratory techniques like tours and testing heuristics. Initially, their exploratory testing process lacked structure and traceability. To improve it, they implemented a session-based test management approach. This involved planning testing sessions, taking notes within a tool, and having debrief sessions. It helped provide structure while maintaining the flexibility of exploratory testing. They were then able to measure and audit their exploratory testing more effectively.
ISTQB – technika, według osób, które praktykują testy aksploracyjne to podejście. Radek bardzo fajnie porównał różnice na Testerzy.pl - http://www.testerzy.pl/baza-wiedzy/testowanie-eksploracyjne-kontra-istqb
Whittaker – wile tour’ow jest opisanych na stronach msdn: http://msdn.microsoft.com/en-us/library/jj620911.aspx Touring - bardzo przydatny np jesli wybierzemy Session based testing, pomaga nam zaplanowac testowanie – podzielic na sesjie –po takim przejsciu mamy praktycznie test plan. Jest jeszcze kilka takich heurystyk/technik – te sa najbardziej popularne. SFDPO Mnemonic - Mike Kelly, 2005 Structure, Function Data, Platform. Operation HICCUPPS heuristic -Bach History, Image, Compare products, ...
Whittaker – ze strony msdn o exploratory testing
http://agile2010.agilealliance.org/files/Telling%20Your%20Exploratory%20Story%20Agile2010.pdf Vague – niejasne Where you are, where you want to be? Where are your process?. How looks Cognifide’s road? Cognifide – pure scripted an freestyle exloparotry projects, than on ly freestyle – and now something between fragmentary test cases and charters
Dlaczego wprowadziliśmy testy eksploracyjne zmienność wymagań, możliwość adaptacji testów do aktualnych potrzeb, szybki feedback dla developera, współpraca tester-developer (gdzie developer na bieżąca naprawia błędy ,znalezione przez testera), domena - brak możliwości napisania wszystkich scenariuszy poźne zaangażowanie QA w projekt, późno QA w projekcie, niestety wymagania często doprecyzowane w czasie sprintu, co oznacza brak czasu na przygotowanie odpowiednich skyptów retesty - brak narzutu na zarządzanie skryptami testowymi, wybór odpowiednich pod suite do retestu, …. avoid miniwaterfall model
Testy Akceptacyjne (Story acceptance testing) - testy wewnętrzne wykonywane przez testera który ma potwierdzić że funkcjonalność działa jak powinna i nie działa jak nie powinna. Tutaj testy eksploracyjne się sprawdzają gdzie ważny jest “Time to Market”: szybki odpowiedź zwrotna o błędach - naprawa błędu - retest część powodów z góry jak odporność na zmiany wymagań Lean - czyli rób tylko to co da wartość biznesowa dla klienta Testy regresyjne - Tutaj jest gorzej. Lepiej sprawdzają się skrypty które mozna powtórzyć ale wymagamy też analizy sesji przez testera i pomysłów (test idea). poziom detalicznosci testów testy, ktore daja testerowi odrobine wolnosci charakter testera - dociekliwy, ... test scenario jak mini sesja np. 5 minutowa,
Szybko wprowadzilismy kilka usprawnien Zaczlismy robic notatki (na tamta chwile raczej bylo to zaczerpniecie z session). Dlugo szukalisy narzedzia, ktore pomoze nam tworzyc czytelne notatki, niestety nic takiego nie znalezlismy, wiec kolega napisal wlasne, Wlasne checklisty
Jej uwagi do naszego procesu. brak powiazan z Acceptance Criteria z notatek z sesji nie wynikalo, iz dany akceptance criteria jest spelnoniony jakie scenariusze testowe zostaly wykonane przeciwko temu AC/story zalaczniki nieczytelne graficzna wizualizacja wynikow np - ktore acceptance pass, ktore failed, jakie bledy byly zglaszane przeciwko ktoremu acceptance, … Jakie testy byly wykonane brak scenariuszy testowych, bo notatki z sesji sa nieczytelne dla osob spoza projektu / przyzwyczajonych do test scenariuszy Brak integracji z jira - np wyszukiwanie potrzebnej informacji z notatek czy tez brak traceability
Zawasze jest to trudna decyzja, ale trzeba ja podjac i poszukac kompromisow. Mimo iz chcemy byc jak najblizej lewej strony, musimy zadowolic klienta czy tez nasze wewnetrzen standardy
Szybko wprowadzilismy kilka usprawnien Zaczlismy robic notatki (na tamta chwile raczej bylo to zaczerpniecie z session). Dlugo szukalisy narzedzia, ktore pomoze nam tworzyc czytelne notatki, niestety nic takiego nie znalezlismy, wiec kolega napisal wlasne, Wlasne checklisty
Szybko wprowadzilismy kilka usprawnien Zaczlismy robic notatki (na tamta chwile raczej bylo to zaczerpniecie z session). Dlugo szukalisy narzedzia, ktore pomoze nam tworzyc czytelne notatki, niestety nic takiego nie znalezlismy, wiec kolega napisal wlasne, Wlasne checklisty
Szybko wprowadzilismy kilka usprawnien Zaczlismy robic notatki (na tamta chwile raczej bylo to zaczerpniecie z session). Dlugo szukalisy narzedzia, ktore pomoze nam tworzyc czytelne notatki, niestety nic takiego nie znalezlismy, wiec kolega napisal wlasne, Wlasne checklisty
Zasada oparta na praktyce, zbior dorbych praktyk
Szybko wprowadzilismy kilka usprawnien Zaczlismy robic notatki (na tamta chwile raczej bylo to zaczerpniecie z session). Dlugo szukalisy narzedzia, ktore pomoze nam tworzyc czytelne notatki, niestety nic takiego nie znalezlismy, wiec kolega napisal wlasne, Wlasne checklisty
Czyli czy testowac wymagania. Testy eksploracyjne sa reactive, czyli już na zaimplementowanym kodzie. Czy w takim razie nie musimy testowac wymagan? Nigdzie tak nie jest powiedziane – tutaj przychodzi nam Agile i Scrum z pomoca. Grooming session – powinno odbywac sie minimu tydzien przed sprintem, albo wczesniej. Wymagania sa przegladane przez zespol – czyli tez QA. Jest to czas, kiedy mozna zadac pytania, stwierdzic iz acceptance tests sa nie testowalne, zglaszac uwagi itp Sprint planning nie jest miejscem do tego. Tutaj planujemy sprint, pczest przechodzimy ze story points do czasu, QA planuje swoja prace w czasie sprintu, ... – to nie jest czas testowania/review – juz jest za pozno No i eksploracja –tutaj niestety dzialamy juz na zaimplementowanym kodzie, nie znaczy ze zawsze wszystko udala nam sie wczesniej wyjasnic, na pewno znajdziemy nie jasnosci, ... A moze bedziemy chcieli wplynac na ksztalt wymagan, gdyz to co zostalo stworzeone nie do konca ma sens, dziala intucicyjnie, ...
Past. What happened during the session? Results. What was achieved during the session? Obstacles. What got in the way of good testing? Outlook. What still needs to be done? Feelings. How does the tester feel about all this
Jakie plusy ma bonfire Sesje z poziomu jira Demo
http://agile2010.agilealliance.org/files/Telling%20Your%20Exploratory%20Story%20Agile2010.pdf Vague – niejasne Where you are, where you want to be? Where are your process?. How looks Cognifide’s road? Cognifide – pure scripted an freestyle exloparotry projects, than on ly freestyle – and now something between fragmentary test cases and charters