Case study z badania przeprowadzonego przez agencję K2 dla Ministerstwa Rozwoju Regionalnego. Więcej o badaniu na www.ifixux.pl/blog/case-study-badania-serwisu-euroman-z-dziecmi-i-mlodzieza/
Eyetracking Facebooka - Jak konsumujemy posty znajomych i marek na Facebooku
Case study: Badania użyteczności portalu dla dzieci Euroman
1. Case Study
Badania użyteczności
portalu dla dzieci
Euroman.gov.pl
K2 Internet S.A.
2. O czym będzie
Zaprojektowaliśmy edukacyjny serwis dla dzieci
o Funduszach Europejskich – euroman.gov.pl
Chcemy dowiedzieć się czy jest użyteczny i
dopasowany do potrzeb użytkowników.
Potraficie to zrobić?
Oczywiście! Przeprowadzimy badania z
dziećmi, a zdobytą wiedzę uzupełnimy
ekspercką analizą użyteczności
Prezentujemy case study z projektu badawczego serwisu
euroman.gov.pl z listopada 2011. Będzie o:
Wyznaczonych celach badania
Zastosowanych metodach badawczych
Obserwacjach z badania
2
3. www.euroman.gov.pl
to edukacyjny portal internetowy dla
dzieci i młodzieży szkolnej w wieku 6-17
lat, poświęcony propagowaniu informacji
o Funduszach Europejskich w Polsce
3
Wygląd serwisu w czasie badań
4. Celem portalu jest dotarcie z informacją o
Funduszach Europejskich do dzieci i młodzieży
szkolnej oraz rozpowszechnianie wiedzy w
zakresie zmian jakie dokonują się w otaczającej
nas rzeczywistości dzięki środkom unijnym.
4
Wygląd serwisu w czasie badań
5. Serwis jest podzielony na trzy obszary,
przeznaczone dla poszczególnych grup wiekowych
dzieci i młodzieży (6-10 lat, 11-14 lat, 15-17 lat).
5
Wygląd serwisu w czasie badań
6. W każdej części portalu znajdują
się interaktywne narzędzia
edukacyjno-rozrywkowe –
gry, kolorowanki, puzzle,
komiksy, krzyżówki, quizy
6
Wygląd serwisu w czasie badań
8. Cele badania
1. Określenie sposobu funkcjonowania strony w interakcji z użytkownikami
2. Ocena zrozumiałości i atrakcyjności całości portalu i wszystkich
poszczególnych jego elementów dla grupy docelowej
3. Ocena portalu pod kątem zgodności architektury informacyjnej i
zastosowanych rozwiązań graficznych portalu z obowiązującymi
standardami budowy użytecznych serwisów internetowych dla dzieci
4. Wskazanie możliwych zmian w obrębie obszarów dedykowanych
poszczególnym grupom wiekowym
8
źródło
9. Zarekomendowaliśmy 2 metody
Badania z dziećmi Analizy eksperckie
Wywiady i obserwacje w Lista kontrolna
laboratorium K2 UX Cognitive walkthrough
Cel Cel
Zobaczyć najważniejsze: Uzupełnić obserwacje o
czy użytkownicy potrafią szczegółową ocenę wszystkich
korzystać z serwisu? funkcji, a przede wszystkim tych,
które nie zostały przetestowane z
czy treści są dla nich dziećmi.
interesujące?
czy wiedza przekazywana jest
w sposób zrozumiały?
9
10. Plan projektu
Przygotowaliśmy dokument zawierający:
Cele badania i szczegółowe pytania badawcze
Kryteria rekrutacji respondentów
Szczegółowy opis kolejnych etapów badania z dziećmi –
wraz z listą zadań i pytań do wywiadów
Opis metodyki audytu eksperckiego oraz listę heurystyk do oceny serwisu
Harmonogram projektu
10
12. Lista kontrolna
Trzech ekspertów oceniło serwis w oparciu o
listę heurystyk, czyli ogólnych zaleceń
dotyczących użyteczności serwisów
internetowych.
Listy kontrolne są tworzone z myślą o
serwisach, mających umożliwiać dorosłym
użytkownikom wykonanie konkretnych
zadań. Na potrzeby testowania serwisu
dla dzieci, mającego dostarczać rozrywkę i
jednocześnie edukować, odpowiednio
dostosowaliśmy kryteria oceny.
12
13. Cognitive Walkthrough
Ci sami eksperci przetestowali również kilkanaście najczęstszych
scenariuszy użycia serwisu i oceniali go w kontekście realizacji
najważniejszych celów. „Wchodzili w skórę użytkowników”, wykonywali zadania
i na każdym kroku zastanawiali się: „czy użytkownik będzie wiedział co zrobić
dalej?”
13
źródło
15. Młodzi respondenci
Na badanie zaprosiliśmy 12 dzieci – 6 chłopców i 6 dziewczynek
6 – 10 lat 11 – 14 lat 15 – 17 lat
wiek 6 7 8 9 9 11 12 13 14 15 16 17
5 osób 4 osoby 3 osoby
Kryteria rekrutacji
Minimum roczne doświadczenie w korzystaniu z Internetu
Korzystanie w domu, przynajmniej 2 razy w tygodniu, przez min. 0,5h
W miarę płynne, samodzielne czytanie
15
16. Poczekalnia dla dzieci
Od samego początku staraliśmy się stworzyć atmosferę
zaufania, aby młody respondent poczuł się swobodnie
– w poczekalni przygotowaliśmy kolorowanki i komiksy.
W czasie gdy dziecko oswajało się z nowym otoczeniem,
opowiadaliśmy opiekunom na czym będzie polegało badanie.
Następnie rodzic decydował, czy chce przebywać z dzieckiem
w czasie całego badania.
16
17. Kwestionariusz rodzica
W międzyczasie rodzice wypełniali kwestionariusz, w
którym pytaliśmy:
Jak dziecko korzysta z Internetu, jakie serwisy
odwiedza, czy korzysta z serwisów edukacyjnych
Preferowane metody nauki oraz rozwoju
Wiedza dziecka o Funduszach Europejskich
17
18. Etapy badania z dzieckiem
Poznanie doświadczeń, potrzeb i oczekiwań
Rozmowa wprowadzająca związanych z wykorzystywaniem Funduszy
Europejskich
Obserwacja dzieci w czasie swobodnego
Obserwacja użytkowników eksplorowania serwisu i wykonywania
określonych zadań
Ocena serwisu za pomocą kartek z
Karty reakcji przymiotnikami, wspomagającymi wyrażenie
opinii
Podsumowanie wrażeń i oceny serwisu
Wywiad końcowy przez respondentów
18
19. Obserwacja użytkowników
Badanie prowadził moderator – rozmawiał z dzieckiem, dawał
zadania do wykonania, dopytywał o wrażenia, odpowiadał na
pytania. Drugi ekspert pełnił rolę obserwatora i prowadził
notatki z przebiegu sesji badawczej.
Foto: Natalia Borkowska
20. Procedura
Postawiliśmy głównie na swobodną eksplorację serwisu, umożliwiającą
obserwację naturalnego sposobu korzystania z serwisu – w jakiej kolejności
zapoznają się z kolejnymi działami, co je realnie zainteresuje, a co znudzi.
Przygotowaliśmy również listę zadań. Zazwyczaj dzieci wykonywały czynności,
na których nam zależało. Jeśli jednak respondent samoczynnie nie zrealizował
zadania, moderator prosił o wykonanie go.
Zadanie Obszary zainteresowania Pytania
Sposób wyboru komiksu
Obejrzyj wybrany komiks
Sposób zmieniania slajdów Co myślisz o
[Po obejrzeniu]
Komiksy Sposób przejścia do innego komiksu obejrzanych
Jak przeszedłbyś teraz
Czy przegląda komiks do końca? komiksach?
do innego komiksu?
Ile komiksów ogląda?
20
21. Zachowanie i emocje
Większość dzieci z zainteresowaniem przejrzało cały serwis. Najmłodsi poświęcili
na to średnio 50 minut, a najwięcej czasu spędzili nad opowiadaniami i
komiksami. Starsi bardziej zainteresowali się krzyżówkami i quizami.
Ważnym źródłem oceny serwisu były emocje wyrażane:
mimiką twarzy, postawą ciała
ogólnym nastrojem w czasie badania
spontanicznymi komentarzami
Oooo koniec, koniec
Uuuła, krzyżówka, kasy! O jej, nie mam
uuuła. Ja sama nie forsy! Całą forsę
wiem, ja nie umiem straciłem! Nie udało się
krzyżówek… zbudować drogi :(
- Marlena, 9 lat - Olek, 6 lat
21
22. Piramida potrzeb
Analizowaliśmy wszystko w oparciu o piramidę potrzeb serwisów edukacyjnych
– w zachowaniu, emocjach i wypowiedziach badanych szukaliśmy wskaźników,
dotyczących każdego z 4 wymiarów (zainteresowanie, użyteczność,
zaangażowanie, edukowanie).
odbiór treści edukacyjnych,
edu
zrozumienie, przyswajanie wiedzy
emocje, poświęcony czas,
zaangażowanie
chęć korzystania, polecanie
co robią, emocje,
zainteresowanie spontaniczne komentarze
interakcja z serwisem,
użyteczność
napotykane problemy
22
23. Odbiór treści edukacyjnych
Ważnym celem badania było również określenie w jakim stopniu serwis
przekazuje wiedzę o Funduszach Europejskich.
Wśród wielu wypowiedzi, pojawiły się również te, dotyczące sposobu
przekazywania wiedzy.
Pierwszy [komiks] był taki
trochę banalny, no, ale w Gra w sumie ok. Takie
Przy 9 komiksie, drugim widać już, na co trochę klikanie. Ale no
ze znudzeniem w głosie: idą fundusze – co jest dla ogólnie wiadomo, o co
mnie ciekawe, bo sama chodzi i tak jakby się
Ciągle mówi o nie wiem właśnie, a teraz nasuwa na myśl, na co
tych funduszach przydałoby się idą Fundusze Europejskie
europejskich… - dowiedzieć. - Daria, 15 lat - Olga, 16 lat
Olek, 6 lat
23
24. Karty reakcji
Po zakończeniu korzystania z serwisu prezentowaliśmy dzieciom
karteczki z 24 przymiotnikami. Badani wybierali te przymiotniki,
które ich zdaniem odnosiły się do serwisu Euroman. Następnie
decydowali się na 3 najlepiej opisujące stronę.
25. Uzasadniali wybór słów
pomocny
Nie widziałam
Coś nowego, z
jeszcze takich
czym się nie
Można się czegoś Łatwo się po stron z grami
spotkałam,
dowiedzieć o Unii nim poruszać - o Funduszach
Paulina, 11 lat dobry pomysł -
- Marlena, 9 lat Daria, 15 lat Europejskich -
Zuza, 8 lat
25
26. Analiza kart
Przymiotniki wybierane przez dzieci również analizowaliśmy w odniesieniu do
piramidy potrzeb – wybór danego przymiotnika mógł wskazywać na dobrze
spełnioną funkcję serwisu na jednym z wymiarów (szczebli). I tak wybór
przymiotników „fajny” i „zabawny” wskazywał na pozytywna realizację szczebla
„zainteresowanie”.
edu
zaangażowanie
zainteresowanie
użyteczność
26
27. Wywiad końcowy
Po obserwacji i wykonywaniu zadań, przeprowadzaliśmy krótki wywiad
podsumowujący wrażenia dziecka z korzystania ze strony.
„Co myślisz o tym serwisie?”
No dobrze, tylko ta
strona uczy tylko o Spełnia swoje zadanie,
Europie, jak bo pokazuje, na co tak Ten serwis jest bardzo
wydaje na jakieś naprawdę fundusze ciekawy i przydatny
sklepy te fundusze europejskie idą i jak ogólnie mówiąc,
i to tylko tyle - wygląda cały proces z ponieważ inne dzieci
Szymon, 9 lat nimi związany - Olga, 16 lat może nauczyć o… Unii
Europejskiej - Paulina, 11 lat
27
29. 9 godzin 31 minut nagrań z badania
217 godzin pracy specjalistów
253 strony raportu
194 slajdy prezentacji
239 rekomendacji zmian
29
30. Dostarczyliśmy
Raport, zawierający opis interakcji
użytkowników z serwisem oraz wyniki
audytu eksperckiego
Prezentacja, przedstawiająca wyniki
badania w sposób skrócony,
wzbogacona fragmentami video z
badania
Pełne nagrania video oraz fragmenty
„the best of”
30
31. Opinia Klienta o projekcie
Zaplanowane przez Ministerstwo Rozwoju Regionalnego i
przeprowadzone przez firmę K2 Internet S.A. badanie miało na
celu ocenę, a następnie przedstawienie propozycji usprawnień i
modyfikacji serwisu dla dzieci i młodzieży www.euroman.gov.pl.
Badanie zostało przeprowadzone zgodnie z obowiązującymi
standardami i z zachowaniem zasad specyfiki badań z dziećmi.
Uzyskane wyniki stanowią obszerne kompendium wiedzy o
zaletach i wadach serwisu, a wdrożenie szczegółowych
rekomendacji pozwoli jeszcze lepiej spełniać stawiane przed
Euromanem cele i zadania.
Departament Informacji, Promocji i Szkoleń
31
33. Mamy masę metod badawczych
Wywiady IDI
Obserwacje użytkowników (testy zadaniowe w laboratorium)
Badania etnograficzne (contextual inquiry)
Współprojektowanie z użytkownikami (participatory design)
Eyetracking
Cardsorting
Clicktracking
Testy struktury
i wiele wiele innych…
33
35. Laboratorium
Posiadamy własne laboratorium badawcze z
eyetrackerem, lustrem weneckim, nagłośnieniem
i podglądem. Zapewniamy pełną obsługę procesu
badawczego od rekrutacji respondentów do
przeprowadzenia badań i analizy wyników