Oplægget blev holdt ved InfinIT-arrangementet Temadag om integrering af usability-arbejde i agile udviklingsprocesser, der blev afholdt den 6. maj 2014. Læs mere om arrangementet her: http://infinit.dk/dk/hvad_kan_vi_goere_for_dig/viden/reportager/hvordan_kombineres_agil_udvikling_og_usability-arbejde.htm

1. 1
Træning af software-udviklere i
usability-arbejde
Jane Billestrup
Human-Computer Interaction (HCI)
Research Centre for Socio-Interactive Design
Aalborg Universitet, Institut for Datalogi
jane@cs.aau.dk

2. Træning af software-udviklere i usabilityarbejde
Baggrund
● Ikke altid realistisk for virksomheder at have ansat
usabilityspecialister
● Begrænsning i økonomi og antallet af specialister
Formål
● At træne softwareudviklere i at arbejde med usability og kunne
udføre en brugerevaluering.
● Uddanne softwareudviklere til at udføre “barfodsevalueringer”

3. Program for workshops
Dag 1 Dag 2 Hjemme-
arbejde
Dag 3
kl. 9 – 16
Oplæg
●Hvad er usability
●Evaluering af usability
●Usability i praksis
●Investering i usability
●Opgavedefinering
●Planlægning
Øvelser
●Find problemer i
eksisterende design
●Opgavedefinering til
test
● Planlægning af test
Opsamling
kl. 9 – 15
Oplæg
●Forberedelse af test
●Udførsel af test
●Fortolkning af
resultater
●Formidling af resultater
Øvelser
●Forberedelse af test
●Udførsel af test
●Fortolkning af
resultater
●Formidling af resultater
Opsamling og
evaluering
Udfør
bruger-
evaluering
planlagt på
kurset i
øvelserne
Foretag
video-
analyse
kl. 9 – 15
Oplæg
●Opsamling på dag 1 +
2 og erfaringer
efterfølgende
●Introduktion til Instant
Data Analysis (IDA)
Øvelser
●IDA med 2
testpersoner
●IDA analyse
Opsamling og
evaluering
Diskussion af
erfaringer

4. Opbygning af kursus
Evaluering
Formål og
baggrund
Resultat

5. Formål og baggrund
● Hvad er brugervenlighed?
● Eksempler på problemer
● Klassificering af
problemerne

6. 6
Usability: Hvorfor er det vigtigt?
Dårlig usability vedbliver med at give problemer
Tiden heler ikke dårligt design
• Longitudinal study of usability with EPR
system: IBM IPJ 2.3 (05-2002 og 08-2003)
• Evaluation with nurses
2002
2003
2002
2003
2002
2003

7. 7
Aktiviteter i en usability-evaluering
Jeffrey Rubin – Handbook of Usability Testing
• Form: formative/summative
• I udviklingsprocessen:
• Eksplorativ
• Vurdering
• Validering
• Sammenligning
• Deltagere og roller
• Sted og udstyr
• Genskabelse af kontekst
• Informering af deltagerne
• Fordel roller i teamet
• Klargør udstyr
• Opgaveudarbejdelse
• Fremstilling af materialer
• Tidsforbrug
• Videoanalyse
• Transskribering af logfiler
• Identifikation af problemer
• Kategorisering af problemer
Testplan:
• Formål
• Hovedspørgsmål
• Brugerprofil
• Deltagere og roller
• Testmetoder
• Opgaver
• Kontekst og udstyr
• Dataindsamling
• Formidlingsform
For hver deltager:
• Introduktion
• Opgaveløsning
• Dataindsamling
• Logning
• Debriefing
• Rapport (komplet)
• Rapport (fokuseret)
• Redesignforslag
• Redesign workshop
• Observation
• Multimedia præsentation
Opgavedefinering
Planlægning
Forberedelse
Udførelse
Fortolkning
Formidling

8. 8
Hvornår i systemudviklingsprocessen
• Formative evaluation:
improve design
• Summative evaluation:
check product
Comparison
Test
Exploratory
Test
Assessment
Test
Validation
Test
3.
Preliminary
Design
4.
Detailed
Design
5.
Product
Build
6.
Product
Release
1.
User and Usage
Needs Analysis
2.
Specification of
Requirements
Early
Test

9. 9
Testplanen
I testplanen beskrives følgende
specifikke forhold for evalueringen:
• Formål
• Hovedspørgsmål
• Brugerprofil
• Deltagere og roller
• Testmetoder
• Opgaver
• Kontekst og udstyr
• Dataindsamling
• Formidlingsform

10. Genskab konteksten
• Brugeren:
• Demografi: alder, køn,
uddannelse, social og kulturel
baggrund, ...
• Erfaring med IT generelt og med
systemet
• Brugsomgivelsen:
• Hvor foregår brugen normalt
• Miljø, personer og ting I denne
omgivelse
• Brugssituationen:
• Hvilken arbejdsopgave
• Hvad gør brugeren med systemet
• Relation til andre personer og
opgaver
• Relevante og realistiske data

11. Udførsel af test
● Brugerevaluering udføres efter workshop dag 1+2
● Mulighed for at få hjælp under testen
● Brugerevaluering blev efterfulgt af en videoanalyse

12. 12
Videoanalyse
• Brugbarhedsproblem – hvad er det og hvordan forholder det sig
til definitionen
• Identificer steder, hvor brugere
• Laver fejl
• Skifter angrebsvinkel
• Kommer med udbrud
• Andre markante skift
• Find årsagen til, at der bruges længere tid eller laves fejl –
vanskeligt og tidskrævende

13. Transskribering af logfil
Transskription: Detaljeret skriftlig beskrivelse af et hændelsesforløb.
Ud fra video og noter taget undervejs produceres en detaljeret logfil:
13

14. Transskribering af logfil
Transskription: Detaljeret skriftlig beskrivelse af et hændelsesforløb.
Ud fra video og noter taget undervejs produceres en detaljeret logfil:
14

15. Formidling
● Resultat af brugerevaluering
● Usability rapport
● Redesign workshop
● Multimedie-præsentationer af problemer
● Inddrage udviklere i brugerevalueringerne som logger

16. Instant Data Analysis (IDA)
● Analysen laves umiddelbart efter afslutningen af sidste brugertest
● Der anvendes ikke videomateriale til at foretage analysen
● Logfiler transkriberes ikke

17. 17
IDA: Roller
– Testleder:
●
Oplæser instruktioner
●
Overholder tænke-højt proceduren
●
Osv.
– Data logger:
●
Observerer
●
Noterer problemer løbende
– Facilitator
●
Ordstyrer
●
Stiller opklarende spørgsmål
●
Noterer problemer på tavle
●
Organiserer ift. temaer
●
Behøver ikke at have overværet testen
●
Renskriver problemlisten

18. IDA: Procedure
1. Brainstorm (testleder og logger)
2. Gennemgang af opgaver (testleder og logger)
3. Gennemgang af noter (logger)
– Kategorisering af problemer
(testleder og logger)
– Varighed: 1-1½ time
– Renskrivning af problemliste
– (facilitator)
●
Overskrift, problembeskrivelser
m. referencer til systemet
●
Varighed: 1-1½ time
– Validering af liste (testleder,
logger og facilitator)
●
Varighed: ½-1 time 18

19. 19
IDA: Sammenligning m. klassisk evaluering
Antal fundne problemer:
IDA (69 %): Kritisk = 89 %, Alvorligt = 76 %, Kosmetisk = 42 %
Video (82 %): Kritisk = 72 %, Alvorligt = 76 %, Kosmetisk = 95 %
IDA Video
Antal
problemer
ialt
Kritisk 16 13 18
Alvorligt 13 13 17
Kosmetisk 8 18 19
Total 37 44 54

20. 20
IDA: Sammenligning m. klassisk evaluering
Tidsforbrug:
IDA = 10.5 t., Video = 61.75 t.
IDA Testleder Datalogger Facilitator Total
Analyse 2t 2t 2t 6t
Renskrivning 1.5t 1.5t
Validering af liste 1t 1t 1t 3t
Total 3t 3t 4.5t 10.5t
Video Evaluator 1 Evaluator 2 Evaluator 3 Total
Analyse 15.5t 13.75t 14.5t 43.75t
Fletning af lister 6t 6t 6t 18t
Total 21.5t 19.75t 20.5t 61.75t

21. Sammenfatning
Læring om
●
Hvorfor det er vigtigt at reducere mængden af usabilityproblemer
●
Hvordan det gøres i praksis
●
Hvordan en usability test planlægges og udføres
●
Hvordan data analyseres efterfølgende
●
Hvordan resultaterne formidles
Læring ved
●
Klassiske forelæsninger
●
Øvelser i grupper og individuelt
●
Selvstudie
●
Mulighed for eksperthjælp under selvstudiet
21

22. 22
Spørgsmål?
Jane Billestrup
Human-Computer Interaction (HCI)
Research Centre for Socio-Interactive Design
Aalborg Universitet, Institut for Datalogi
jane@cs.aau.dk