Case study z badania przeprowadzonego przez agencję K2 dla Ministerstwa Rozwoju Regionalnego. Więcej o badaniu na www.ifixux.pl/blog/case-study-badania-serwisu-euroman-z-dziecmi-i-mlodzieza/

1. Case Study
Badania użyteczności
portalu dla dzieci
Euroman.gov.pl
K2 Internet S.A.

2. O czym będzie
Zaprojektowaliśmy edukacyjny serwis dla dzieci
o Funduszach Europejskich – euroman.gov.pl
Chcemy dowiedzieć się czy jest użyteczny i
dopasowany do potrzeb użytkowników.
Potraficie to zrobić?
Oczywiście! Przeprowadzimy badania z
dziećmi, a zdobytą wiedzę uzupełnimy
ekspercką analizą użyteczności
Prezentujemy case study z projektu badawczego serwisu
euroman.gov.pl z listopada 2011. Będzie o:
 Wyznaczonych celach badania
 Zastosowanych metodach badawczych
 Obserwacjach z badania
2

3. www.euroman.gov.pl
to edukacyjny portal internetowy dla
dzieci i młodzieży szkolnej w wieku 6-17
lat, poświęcony propagowaniu informacji
o Funduszach Europejskich w Polsce
3
Wygląd serwisu w czasie badań

4. Celem portalu jest dotarcie z informacją o
Funduszach Europejskich do dzieci i młodzieży
szkolnej oraz rozpowszechnianie wiedzy w
zakresie zmian jakie dokonują się w otaczającej
nas rzeczywistości dzięki środkom unijnym.
4
Wygląd serwisu w czasie badań

5. Serwis jest podzielony na trzy obszary,
przeznaczone dla poszczególnych grup wiekowych
dzieci i młodzieży (6-10 lat, 11-14 lat, 15-17 lat).
5
Wygląd serwisu w czasie badań

6. W każdej części portalu znajdują
się interaktywne narzędzia
edukacyjno-rozrywkowe –
gry, kolorowanki, puzzle,
komiksy, krzyżówki, quizy
6
Wygląd serwisu w czasie badań

7. Cele i plan

8. Cele badania
1. Określenie sposobu funkcjonowania strony w interakcji z użytkownikami
2. Ocena zrozumiałości i atrakcyjności całości portalu i wszystkich
poszczególnych jego elementów dla grupy docelowej
3. Ocena portalu pod kątem zgodności architektury informacyjnej i
zastosowanych rozwiązań graficznych portalu z obowiązującymi
standardami budowy użytecznych serwisów internetowych dla dzieci
4. Wskazanie możliwych zmian w obrębie obszarów dedykowanych
poszczególnym grupom wiekowym
8
źródło

9. Zarekomendowaliśmy 2 metody
Badania z dziećmi Analizy eksperckie
Wywiady i obserwacje w Lista kontrolna
laboratorium K2 UX Cognitive walkthrough
Cel Cel
Zobaczyć najważniejsze: Uzupełnić obserwacje o
 czy użytkownicy potrafią szczegółową ocenę wszystkich
korzystać z serwisu? funkcji, a przede wszystkim tych,
które nie zostały przetestowane z
 czy treści są dla nich dziećmi.
interesujące?
 czy wiedza przekazywana jest
w sposób zrozumiały?
9

10. Plan projektu
Przygotowaliśmy dokument zawierający:
 Cele badania i szczegółowe pytania badawcze
 Kryteria rekrutacji respondentów
 Szczegółowy opis kolejnych etapów badania z dziećmi –
wraz z listą zadań i pytań do wywiadów
 Opis metodyki audytu eksperckiego oraz listę heurystyk do oceny serwisu
 Harmonogram projektu
10

11. Audyty
eksperckie

12. Lista kontrolna
Trzech ekspertów oceniło serwis w oparciu o
listę heurystyk, czyli ogólnych zaleceń
dotyczących użyteczności serwisów
internetowych.
Listy kontrolne są tworzone z myślą o
serwisach, mających umożliwiać dorosłym
użytkownikom wykonanie konkretnych
zadań. Na potrzeby testowania serwisu
dla dzieci, mającego dostarczać rozrywkę i
jednocześnie edukować, odpowiednio
dostosowaliśmy kryteria oceny.
12

13. Cognitive Walkthrough
Ci sami eksperci przetestowali również kilkanaście najczęstszych
scenariuszy użycia serwisu i oceniali go w kontekście realizacji
najważniejszych celów. „Wchodzili w skórę użytkowników”, wykonywali zadania
i na każdym kroku zastanawiali się: „czy użytkownik będzie wiedział co zrobić
dalej?”
13
źródło

14. Badania user experience
z dziećmi

15. Młodzi respondenci
Na badanie zaprosiliśmy 12 dzieci – 6 chłopców i 6 dziewczynek
6 – 10 lat 11 – 14 lat 15 – 17 lat
wiek 6 7 8 9 9 11 12 13 14 15 16 17
5 osób 4 osoby 3 osoby
Kryteria rekrutacji
 Minimum roczne doświadczenie w korzystaniu z Internetu
 Korzystanie w domu, przynajmniej 2 razy w tygodniu, przez min. 0,5h
 W miarę płynne, samodzielne czytanie
15

16. Poczekalnia dla dzieci
Od samego początku staraliśmy się stworzyć atmosferę
zaufania, aby młody respondent poczuł się swobodnie
– w poczekalni przygotowaliśmy kolorowanki i komiksy.
W czasie gdy dziecko oswajało się z nowym otoczeniem,
opowiadaliśmy opiekunom na czym będzie polegało badanie.
Następnie rodzic decydował, czy chce przebywać z dzieckiem
w czasie całego badania.
16

17. Kwestionariusz rodzica
W międzyczasie rodzice wypełniali kwestionariusz, w
którym pytaliśmy:
 Jak dziecko korzysta z Internetu, jakie serwisy
odwiedza, czy korzysta z serwisów edukacyjnych
 Preferowane metody nauki oraz rozwoju
 Wiedza dziecka o Funduszach Europejskich
17

18. Etapy badania z dzieckiem
Poznanie doświadczeń, potrzeb i oczekiwań
Rozmowa wprowadzająca związanych z wykorzystywaniem Funduszy
Europejskich
Obserwacja dzieci w czasie swobodnego
Obserwacja użytkowników eksplorowania serwisu i wykonywania
określonych zadań
Ocena serwisu za pomocą kartek z
Karty reakcji przymiotnikami, wspomagającymi wyrażenie
opinii
Podsumowanie wrażeń i oceny serwisu
Wywiad końcowy przez respondentów
18

19. Obserwacja użytkowników
Badanie prowadził moderator – rozmawiał z dzieckiem, dawał
zadania do wykonania, dopytywał o wrażenia, odpowiadał na
pytania. Drugi ekspert pełnił rolę obserwatora i prowadził
notatki z przebiegu sesji badawczej.
Foto: Natalia Borkowska

20. Procedura
Postawiliśmy głównie na swobodną eksplorację serwisu, umożliwiającą
obserwację naturalnego sposobu korzystania z serwisu – w jakiej kolejności
zapoznają się z kolejnymi działami, co je realnie zainteresuje, a co znudzi.
Przygotowaliśmy również listę zadań. Zazwyczaj dzieci wykonywały czynności,
na których nam zależało. Jeśli jednak respondent samoczynnie nie zrealizował
zadania, moderator prosił o wykonanie go.
Zadanie Obszary zainteresowania Pytania
Sposób wyboru komiksu
Obejrzyj wybrany komiks
Sposób zmieniania slajdów Co myślisz o
[Po obejrzeniu]
Komiksy Sposób przejścia do innego komiksu obejrzanych
Jak przeszedłbyś teraz
Czy przegląda komiks do końca? komiksach?
do innego komiksu?
Ile komiksów ogląda?
20

21. Zachowanie i emocje
Większość dzieci z zainteresowaniem przejrzało cały serwis. Najmłodsi poświęcili
na to średnio 50 minut, a najwięcej czasu spędzili nad opowiadaniami i
komiksami. Starsi bardziej zainteresowali się krzyżówkami i quizami.
Ważnym źródłem oceny serwisu były emocje wyrażane:
 mimiką twarzy, postawą ciała
 ogólnym nastrojem w czasie badania
 spontanicznymi komentarzami
Oooo koniec, koniec
Uuuła, krzyżówka, kasy! O jej, nie mam
uuuła. Ja sama nie forsy! Całą forsę
wiem, ja nie umiem straciłem! Nie udało się
krzyżówek… zbudować drogi :(
- Marlena, 9 lat - Olek, 6 lat
21

22. Piramida potrzeb
Analizowaliśmy wszystko w oparciu o piramidę potrzeb serwisów edukacyjnych
– w zachowaniu, emocjach i wypowiedziach badanych szukaliśmy wskaźników,
dotyczących każdego z 4 wymiarów (zainteresowanie, użyteczność,
zaangażowanie, edukowanie).
odbiór treści edukacyjnych,
edu
zrozumienie, przyswajanie wiedzy
emocje, poświęcony czas,
zaangażowanie
chęć korzystania, polecanie
co robią, emocje,
zainteresowanie spontaniczne komentarze
interakcja z serwisem,
użyteczność
napotykane problemy
22

23. Odbiór treści edukacyjnych
Ważnym celem badania było również określenie w jakim stopniu serwis
przekazuje wiedzę o Funduszach Europejskich.
Wśród wielu wypowiedzi, pojawiły się również te, dotyczące sposobu
przekazywania wiedzy.
Pierwszy [komiks] był taki
trochę banalny, no, ale w Gra w sumie ok. Takie
Przy 9 komiksie, drugim widać już, na co trochę klikanie. Ale no
ze znudzeniem w głosie: idą fundusze – co jest dla ogólnie wiadomo, o co
mnie ciekawe, bo sama chodzi i tak jakby się
Ciągle mówi o nie wiem właśnie, a teraz nasuwa na myśl, na co
tych funduszach przydałoby się idą Fundusze Europejskie
europejskich… - dowiedzieć. - Daria, 15 lat - Olga, 16 lat
Olek, 6 lat
23

24. Karty reakcji
Po zakończeniu korzystania z serwisu prezentowaliśmy dzieciom
karteczki z 24 przymiotnikami. Badani wybierali te przymiotniki,
które ich zdaniem odnosiły się do serwisu Euroman. Następnie
decydowali się na 3 najlepiej opisujące stronę.

25. Uzasadniali wybór słów
pomocny
Nie widziałam
Coś nowego, z
jeszcze takich
czym się nie
Można się czegoś Łatwo się po stron z grami
spotkałam,
dowiedzieć o Unii nim poruszać - o Funduszach
Paulina, 11 lat dobry pomysł -
- Marlena, 9 lat Daria, 15 lat Europejskich -
Zuza, 8 lat
25

26. Analiza kart
Przymiotniki wybierane przez dzieci również analizowaliśmy w odniesieniu do
piramidy potrzeb – wybór danego przymiotnika mógł wskazywać na dobrze
spełnioną funkcję serwisu na jednym z wymiarów (szczebli). I tak wybór
przymiotników „fajny” i „zabawny” wskazywał na pozytywna realizację szczebla
„zainteresowanie”.
edu
zaangażowanie
zainteresowanie
użyteczność
26

27. Wywiad końcowy
Po obserwacji i wykonywaniu zadań, przeprowadzaliśmy krótki wywiad
podsumowujący wrażenia dziecka z korzystania ze strony.
„Co myślisz o tym serwisie?”
No dobrze, tylko ta
strona uczy tylko o Spełnia swoje zadanie,
Europie, jak bo pokazuje, na co tak Ten serwis jest bardzo
wydaje na jakieś naprawdę fundusze ciekawy i przydatny
sklepy te fundusze europejskie idą i jak ogólnie mówiąc,
i to tylko tyle - wygląda cały proces z ponieważ inne dzieci
Szymon, 9 lat nimi związany - Olga, 16 lat może nauczyć o… Unii
Europejskiej - Paulina, 11 lat
27

28. Efekty

29. 9 godzin 31 minut nagrań z badania
217 godzin pracy specjalistów
253 strony raportu
194 slajdy prezentacji
239 rekomendacji zmian
29

30. Dostarczyliśmy
Raport, zawierający opis interakcji
użytkowników z serwisem oraz wyniki
audytu eksperckiego
Prezentacja, przedstawiająca wyniki
badania w sposób skrócony,
wzbogacona fragmentami video z
badania
Pełne nagrania video oraz fragmenty
„the best of”
30

31. Opinia Klienta o projekcie
Zaplanowane przez Ministerstwo Rozwoju Regionalnego i
przeprowadzone przez firmę K2 Internet S.A. badanie miało na
celu ocenę, a następnie przedstawienie propozycji usprawnień i
modyfikacji serwisu dla dzieci i młodzieży www.euroman.gov.pl.
Badanie zostało przeprowadzone zgodnie z obowiązującymi
standardami i z zachowaniem zasad specyfiki badań z dziećmi.
Uzyskane wyniki stanowią obszerne kompendium wiedzy o
zaletach i wadach serwisu, a wdrożenie szczegółowych
rekomendacji pozwoli jeszcze lepiej spełniać stawiane przed
Euromanem cele i zadania.
Departament Informacji, Promocji i Szkoleń
31

32. K2 User Experience
Lubi badania

33. Mamy masę metod badawczych
 Wywiady IDI
 Obserwacje użytkowników (testy zadaniowe w laboratorium)
 Badania etnograficzne (contextual inquiry)
 Współprojektowanie z użytkownikami (participatory design)
 Eyetracking
 Cardsorting
 Clicktracking
 Testy struktury
i wiele wiele innych…
33

34. Badamy na różnych urządzeniach
34

35. Laboratorium
Posiadamy własne laboratorium badawcze z
eyetrackerem, lustrem weneckim, nagłośnieniem
i podglądem. Zapewniamy pełną obsługę procesu
badawczego od rekrutacji respondentów do
przeprowadzenia badań i analizy wyników

36. Robiliśmy już badania dla
36

37. Dziękujemy za uwagę
K2 Internet S.A., al. Solidarności 74A, 00-145 Warszawa
tel. +48 22 4487000 , fax. +48 22 4487101, www.k2.pl, biuro@k2.pl
NIP: 951-19-83-801
Regon: 016378720
KRS: 0000059690
Wysokość kapitału zakładowego:
2.026.000,00 PLN
Pytania do raportu?
paulina.makuch@k2.pl