Přednáška v rámci Prague ACM SIGCHI.

1. Moderování testů
použitelnosti
Jakub Franc

2. Nic z toho,
co tu dnes uslyšíte,
nemusí být pravda.
Lhář

3. Klasické uspořádání testu
Děkuju, Zdeňku

4. Cílem
testování použitelnosti je:
Zjišťování
problémů
v použitelnosti

5. Zjišťování
problémů
v použitelnosti
Pochopení přirozeného
chování uživatele

6. Zjišťování
problémů
v použitelnosti
Pochopení přirozeného
chování uživatele
Zlepšení UX

7. Zjišťování
problémů
v použitelnosti
Pochopení přirozeného
chování uživatele
Získání týmu pro změnu
Zlepšení UX

8. Zjišťování
problémů
v použitelnosti
Pochopení přirozeného
chování uživatele
Získání týmu pro změnu
Posun firemní kultury
ve směru UX
Zlepšení UX

9. Zjišťování
problémů
Výzkumný
v použitelnosti
Pochopení přirozeného
nástroj
chování uživatele
Získání týmu pro změnu
Posun firemní kultury
ve směru UX
Zlepšení UX

10. Zjišťování
problémů
Výzkumný
v použitelnosti
Pochopení přirozeného
nástroj
chování uživatele
Získání týmu pro změnu
Posun firemní kultury
ve směru UX
Zlepšení UX

11. Zjišťování
problémů
Výzkumný
v použitelnosti
Pochopení přirozeného
nástroj
chování uživatele
Získání týmu pro změnu
Posun firemní kultury
ve směru UX
Zlepšení UX

12. Nástroj změny
Zjišťování
problémů
v použitelnosti
Pochopení přirozeného
chování uživatele
Získání týmu pro změnu
Posun firemní kultury
ve směru UX
Zlepšení UX

14. Měření úspěšnosti
testování
Výzkumný nástroj
Kritérium: počet nalezených problémů v použitelnosti
Nástroj změny
Kritérum: počet pozorovatelů během testu

15. 3 role moderátora
podle Jareda Spoola (2008)
Vědec
Sportovní komentátor
Letuška

16. Slovní
Chování
výpověď
Co lidé říkají a co lidé dělají, jsou dvě zcela odlišné věci.
Margaret Mead

17. Myšlení nahlas
Verbalizování obsahů vědomí během vykonávání
úkolu
Ericsson a Simon (1984) “Think aloud protocol”
Mentální procesy a obsahy procházejí
krátkodobou pamětí a tam jsou přístupné
verbálnímu sdělení

18. Myšlení nahlas - kritika
Nevědomé obsahy
Nesdělitelné obsahy
Interference s primárním úkolem
Zahlcení
Chybné prompty
Přesměrování pozornosti

19. Jak se neptat
Líbí se vám to?
Je to jednoduché?
Je to to, co byste zde očekával/a?

20. Index blábolení
(Molich, 2010 )
index blábolení = čas, kdy mluví moderátor nebo
participant nabízí své názory / celkový čas studie
Obvykle: až 0.30
Ideál: 0.05 - 0.10

21. S čím participant přichází
Neví, co očekávat
Neví, co je očekáváno od něj
Je nervózní
Nechce si připadat hloupě

22. Vztah mezi vámi a
participantem
Jste autoritou (vzbuzuje širokou škálu reakcí od
vzdoru po submisivní chování)
Participant neví, co od vás očekávat (fantazie dokáže
divy)
Vy platíte (syndrom zaměstnance)
Dotýkáte se sebevědomí participanta (vzbuzuje
širokou škálu reakcí od úzkosti po přehnanou
motivaci)

23. Vliv stresu na výkon

24. Role moderátora
Sledovat výzkumné cíle
Zprostředkovat kontakt mezi pozorovateli a
participantem
Postarat se o participanta
Postarat se o pozorovatele
Zaměřit participanta na úkoly
Posouvat studii kupředu podle scénáře

25. Prostředky interakce s
participantem
Verbální 20%
Neverbální 80%

26. Etické principy
Nonmaleficence
Beneficence
Ochrana osobních údajů

27. Fáze testování

28. Příprava na test
Před testem
Důkladné seznámení se se scénářem
Sestavení checklistu
Mezi sezeními
probrat s pozorovateli průběh posledního sezení
seznámit sebe i pozorovatele s profilem
participanta
vydechnout si

29. Lámání ledů
Pomožte participantů
překonat prvotní stres a
úzkost.
První momenty určují
podobu celého sezení
Navažte raport
“Diagnostická fáze”

30. Úvodní fáze
Vytvoření bezpečného rámce
Netestujeme participanta, ale produkt
Uživatel je v pořádku, design někdy selhává
Nejsou správné a špatné odpovědi
Popis celé situace
Nahrávání
Podepsání smlouvy

31. Rozhovor před testem
Zjišťuje data nutná pro interpretaci participantova
chování v reálném čase
Případné ověření naplnění rekrutovacích kritérií
Nevyzraďte svými otázkami víc než je nutné

32. Sběr dat
Zachovat neutrální, nehodnotící postoj
Nepoužívání návodných instrukcí / otázek
Nepoužívání jiných intervencí než těch zcela
nezbytných (nepřirozené přesunutí pozornosti, změna
workflow)
Soustředit se na přirozené chování uživatele

33. Rozhovor po testu
Celkové posouzení, často kvantitativní
Lidé často fabulují, když si nepamatují, co a proč
udělali před několika minutami
Někdy opakovaný průchod úkolem

34. Debriefing
Ujistěte se, v jakém stavu participant odchází
Nechte ho vyjádřit své pocity

35. Problematičtí participanti

36. Dominantní participant
Vy jste ten, kdo řídí sezení
Připomeňte kontext testové
situace
Často je původ dominantního
chování v úzkosti
(vaší úzkosti?)

37. Nejistý participant
Nejistota projevená skrze:
nemluvení nebo nebo
přílišné mluvení
zakrývání motivů
výrazně extrapunitivní nebo
intrapunitivní jednání
Přesměrujte pozornost k cílům
studie
Připomeňte rámec testu

38. Expert
Designuje, extrapoluje na ostatní
Zdůrazňujte důležitost jejich vlastní
zkušenosti, “ostatní” jsou ve vašem
vzorku zastoupeni
Profesionálové by měli být během
rekrutingu vyřazeni

39. Nevhodný participant
Chyby v rekrutingu jsou poměrně časté
Mohu zde něco zjistit?

40. Typické chyby moderátorů

41. Příliš pečující moderátor
Vaším cílem je v první řadě naplnění cílů testu
Malá nepohoda participanta nemusí být na škodu
Pomůžete i zbylým 100 tisícům uživatelům?
Zdržte se pochval

42. Příliš aktivní moderátor
Vaše role spočívá v pozorování, jak se testová
situace vyvíjí
Mluviti stříbro, mlčeti zlato

43. Omnipotentní moderátor
Každá metoda má svoje omezení
Klíčem je pozorování a naslouchání
Vynechte otázky začínající slovem “kdyby”

44. Co si odtud odnést?
Vy jste zodpovědní za výsledek testování.
Testování má pomoci ke zlepšení UX produktu.
Ostatní pozorovatelé nejsou zběhlí v interpretaci
pozorování testu.
Klíčem je chování, ne slova.
Vaši participanti často přicházejí s úzkostí.
Nezapomeňte ani na jednu stranu hřiště.

45. Chcete se dozvědět víc?
Userfocus: Usability Test Moderation Comics
Dumas, J., Loring, B.:Moderating Usability Tests
Kuniavsky, M.: Observing The User Experience
Lazar: Research Methods in Computer-Human
Interaction

46. Chcete se naučit víc?
Trénujte
Trénujte
Trénujte
(pokud možno se supervizí nebo intervizí)

47. Děkuji za pozornost
mojekřestníjméno.mojepříjmení@gmail.com
(ne doslova:)