Presentation kring Digitala prov och examination - är verksamhetsutveckling, vid Samverkansgruppen för högskoleingenjörsutbildning 10-11 april, 2019 - Karlstads universitet.

1. Digitala prov och examination –
är verksamhetsutveckling
Exempel på olika typer av lösningar för att komma igång med digitala prov och digital examination.
Presentation vid Karlstads univeristet 11/4 för Samverkansgruppen för högskoleingenjörsutbildningen
–
Mats Brenner, Learning Center – Högskolan i Gävle

2. Digitaliseringen
pålärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Få använder: Integreringar mellan beroendesystem
(LIS, LTI etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
 REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan
slutet av 1990-talet med aktuell omvärldsanalys. Nätbaserat lärande, s k blended
learning, digital examination ökar i omfattning vid lärosätena.

3. Trenderinome-
assessment ochHR
REF: https://www.cut-e.com/fileadmin/user_upload/HR_Trends/Article_Ten_assessment_trends_.pdf

4. TheBenefifofDigital
Exams

5. TheFutureofhigh
stakeassessment

6. Trenderochnyasätt
examinerapröva,
bedömakunskaper
ochfärdigheter
REF: http://www.serolearn.com/
http://perigeantechnologies.com/

7. Funktionshinder
ochfunktions-
variationer
Ökade möjligheter till anpassning till testsituation och
programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro,
ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex
för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som
rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika
representationsformer
• Rita med digital penna, mus med scanner,
musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska
symboler, bildformat, ljud/video-filer, interaktiva
objekt

8. Salstentan –enav
flera
examinationsform
er
Papperstentamen är endast en av över 30-
tal examinationsformer.
Hemtentor och inlämningsuppgifter är
ofta digitala.
Dock så har flera andra
examinationsformer inte digitaliserats.
Framförallt så sker nu digitalisering av
papperstentamen till digital tentamen.
Gruppinlämningar t ex görs ofta i en och
samma wordfil istället för wiki – med
spårbarhet i historik.
Inlämning och feedback med video,
ljudfiler, digitala poster etc sker ännu i
begränsad form
Hantering av öppen offentlig data – för
mer autentisk examination är ännu
begränsad.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9
291

9. Sistapappers-
bastionen…

10. Salstentan –
fördelar och
nackdelar och
nackdelar
Fördelar
 Salsskrivningar är rättssäkra då det exempelvis
minskar riskerna för olika former av fusk.
 Formen är välbekant för de flesta studenter.
 Med genomtänkta strategier, uppgifter och
bedömningsgrunder kan djupinlärning stimuleras.
Nackdelar
 Salsskrivning kan vid ovarsamhet uppmuntra
ytinlärning.
 Studenterna kan vara pressade av tidsbegränsningar
och att vara i form vid tillfället för salsskrivning
 Uppgifter som stimulerar djupinlärning kan ge hög
rättningsbörda för läraren.

11. Vanligaochmindre
vanliga
examinations-
former–
KANDIGITALIERAS

12. Nyaexaminations-
former-snabbare
analyser

13. Harvåra
papperstentor
validitet &
reliabilitet?
 Standard error of measurement (SEM), Analyzing individual
questions (items). Discriminator (incorrect options)
discrimination, Difficulty index, Cronbach-alpha, Writing Good
Multiple Choice Test Questions,
 Multifactor evaluation (Learning Analytic) - With Exam overview
(i realtid, faktabaserat beslutsunderlagstyrka valet av
examinationsfrågorna)
 Pass marks, pass/fail, Grade, pass mark, pass rate, discrimination
 Question preformance (Pearson’s % item discrimination)
 Candidate performance, score discrimination Avarage SD
 Difficulty vs Discrimination
 Excluded items
Reliability consistency,
reproducibility - a reliable test
(repeat the test with the same
results). Cronbach-alpha,
measure over 0.0 considered
good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or acceptable
Item discrimination is
measured in two different
ways. 20% low and 20%
highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no value
Below 0.0 Negative impact on
test, should be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct
answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item
discrimination
Q close to 100% correct
don’t add not any value
Incorrect most are also
poor question
20% (in 1 out of 5) means
80-40% is good, an
indicator that the
question has a problem

14. Analytics(Objektanalys) –förkvalitetssäkring
LearningAnalytics(Objektanalys) –förkvalitetssäkring

15. Effektivitet
Verksamhets-
utveckling
 Målet är att bespara manuellt administrativt arbete och
utveckla formerna för kunskapsprövning och kvalitet i
examination – detta ger effektivitet.
Inputs
• What we invest … e. g. infrastrucure/integrations (LTI, LIS)
• Staff time, Tech expertice, Systems, Training, User Group
Outputs
• Less time on tasks for teachers
• Better student experiences
Outcomes
• Lower indirect costs and costs per exam
• Better quality och flexible forms of exams

16. ProjektDigital
tentamenII
projekt– Digital
tentamenII
Rapporten Datoriserad
tentamen (170 sidor) –
som ger en översikt hur
digitalisering av
arbetsprocesserna kan
genomföras från ax till
limpa av den traditionella
papperstentamen med
salsskrivning.
Webbplats: http://bit.ly/2zmN4y6

17. Fördelarna–
digital
examination
Fördelarna – flera representationsformer för både formativ och
summativ examination, feedback och bedömning.
 Att använda video, ljudfiler, simuleringar (multimedia)
 Att använda digitala annoteringar, kommentarer, feedback i t
ex pdf-filer eller webbsidor
 Att använda kommenterar från andra studenter - peer review /
kamratbedömning, kollegial bedömning
 Att använda digitala bedömningsmallar (Rubrics)
 Att lärarna enklare och flexiblare kan ge samma feedback till
flera/alla studenter som har liknande svar

18. Fördelarna–
digitaltentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad
tentamen är bl a att bedömning/rättning kan ske snabbare (30-
70%) och bättre med högre kvalitet utförd, då det blir enklare när
studenternas svar är digitala – då framförallt genom:
 Att använda digitala bedömningsmallar
 Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
 Att studenternas svar är och lärarnas bedömning är anonym
 Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
 Att lärarna enklare och flexiblare kan kommentera i dokument,
markera på bilder m m som feedback till studenter

19. Flerfördelar än
nackdelar…rdelar
lärare/examinator
 Översiktligt och enkelt med fler representationsformer
 Tidsbesparande, mindre arbetstid behövs emot manuellt för
rätta/bedöma
 Enklare bedöma, hitta de som gjort samma fel och därmed få
en bättre och mer likvärdig bedömning
 Sparar tid i utformning och poängsättning
 Kan ha flera examinatorer (rättningsprotokoll)
 Kan ha negativa poäng, ge extra poäng
 Använda plausibla svar och goda distraktorer
 Kan ha mallar för tenta (antal frågor, typ av frågor,
begränsar/standardiserar)
 Kan använda 3:djeparts applikationer – streaming av
programvara för autentisk tenta
 Spara och återanvända frågor i frågebank
 Enklare utvärdera frågor och frågetyper
 Plagiatkontroll går genomföra
 Prestationerna bättre – läsbart, omdisponerad text, kan
infoga bilder/skisser
 Anpassning för studenter med funktionsvariationer
förbättras

20. Flerafärdiga
systemlösningar
finns

21. Frågetyper.
Vadkan
lärplattformen?
Canvas: Frågetyper. För Moodle:Third-party question types
se: https://docs.moodle.org/35/en/Third-party_question_types

26. Digital tentamen ipraktiken
Tentavärdar får nya roller
Lokal och utrustning anpassas
Systemlösningen

27. GöteborgsuniversitetochChalmers
Nya anpassade lokaler. Lånedatorer.
Samtida digital-/papperstenta. Inspera Assessment.
Högre krav på tentavakterna

29. ÖrebroochKarlstad
Byggt om och byggt till nya anpassade lokaler
WISEflow med FLOWlock. Lånedatorer.
Högre krav på tentavärdarna

30. Sophiahemmet högskola
Alla tentor är nu digitala tentor
Pilot till genomförande 1 år.
Många lånedatorer i förhållande till studenter.

31. Stockholms universtiet -EXIA
En fast lokal, flera flexibla lokaler
Både BOYD och lokal med egen utrustning
Skalar upp – har ett stort/utspritt campus

32. Förstudie,Pilotestar ochUpphandlar
Mälardalens högskola – 3 system parallellt
Centrala projekt: Lunds- och Umeå universitet
Uppsala har just upphandlat klart – bygger om

33. Säkerhet-
Levelof
Assurance
MINSKA FUSK - PUBLICERINGFORM
MINSKA FUSK - EXAMINATIONSFORM
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm – ingen
internet
Övervaka dataskärm
Ej kunna backa
Avskärma

34. Säkerhet/Risk:
examinations
former(high
stake)

35. Säkerhet isystemlösningen
Säker webbläsare:
Respondus Lockdown Browser (Licens)
SEB (Open Source)

36. Exempel:TeSLA
Webbplats: http://tesla-project.eu/
Video: https://vimeo.com/164100812

37. Arbetsprocessen
digitaliseras –
management &
kvalitet
Provkonstruktion - frågetyper, frågebanker, Learning
Analytic, förbättringsarbete, immateriella rättigheter
(frågebanker), metadata för söka/beskriva frågorna i
kategori, ämnesområde, kunskapsnivå, sökord.
Testsituationen - autentisering, funktionshinder, säker
webbläsare/låsa skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering, intern IT-
kompetens.
Bedömning- och betygsättning via digitala
bedömningsmallar – Kriterier, bedömningsmallar
(Rubrics), utveckla feedback och referensramar för
kvalifikationer – kopplingen till lärandemål (Learning
Outcomes).
Resultathantering – feedback/besked till tentand,
Objektanalys (Learning Analytic) förbättringsarbete.
Arkivering – pdf-filer

38. Kritiskadesign-
principer–
digitalisering
 Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för
att möta mer än ett behov/möta flera behov.
 Kompatibilitet: Om lösningen kan dela information med andra lösningar så att
användare kan dra fördel.
 Effektivitet: Om lösningen driver kostnads- och tidsbesparingar.
 Maintainability: Whether the solution can be adapted or reused to meet more
than one need.
 Compatibility: Whether the solution can share information with other
solutions such that users can benefit.
 Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL:
https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och
http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html

39. Dekritiska
faktorernavid
införandet
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för
akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för
student, lärare och administrativ personal
Evidensbaserat beslutsfattande och en kontinuerlig
förbättringscykel

40. Digital
transformation &
verksamhets-
utveckling
 Ta position - börja pilottesta
 Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera)
 Gör det mesta av vågorna (vad som ändå kommer) – ha
engagemang, nyttja andras erfarenheter och gör investeringar
1. Mobilisering – skapa pilottester och skapa projektgrupp
gärna med IT-avdelning, tentabokning, IKT-
stödorganisationen och sprid erfarenheter från andra
lärosäten
2. Koordination – samverka med alla nödvändiga intressenter
för rutiner och kompetensutveckling samt få till en robust
systemlösning (kanske upphandling behövs)
3. Acceleration – skala upp, integrera och ständiga
förbättringar med datastöd

41. FRÅGOROCH
TACK!
Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18 eller
070-350 02 33