1. MITEN KOULUTUKSEN
LAATUA MITATAAN?
K O K E M U K S I A A M M A T T I K O R K E A K O U L U J E N
V A L M I S T U M I S V A I H E E N O P I S K E L I J A P A L A U T E K Y S E L Y N
K E H I T Y S T Y Ö S T Ä
T u t k i j a L e o A a r n i o
O p i s k e l u n j a k o u l u t u k s e n t u t k i m u s s ä ä t i ö O t u s
1 7 . 2 . 2 0 1 3

2. 17.3.2014 2

3. 17.3.2014 3
”Essentially all models are wrong, but
some models are useful.”
Box, George E.P. (1987, 424)

4. M I T T A U S P R O S E S S I M I T A T T A V A N
K Ä S I T T E E N V A L I N N A S T A
M I T T A U S T U L O K S E E N
Mittaustulos
Miten empiirinen käsite mitataan? (mittausvirhe)
Empiirinen käsite
Miten käsite muunnetaan mitattavan muotoon? (määritysvirhe)
Teoreettinen/käytännöllinen/lainsäädännöllinen/poliittinen käsite
Mitä mitataan? (valinta / rajausvirhe)
17.3.2014 4

5. E S I T Y K S E N R A K E N N E
Mitä mitataan ja miksi? (kalvot 5 - 8)
Käsitteen valinta ja perustelut (valintavirhe)
Miten mitataan ja miksi? (kalvot 9 - 16)
Käsitteen rajaus ja operationalisointi (määritysvirhe)
Miten mittari toimii? (17 – 25)
Mittarin toimivuuden arviointi (mittausvirhe)
Miten mittaria kehitetään ja miten se käyttöönotetaan? (26 – 28)
Tulosten tulkinta ja toimeenpano (tulkintavirhe)
17.3.2014 5

6. 1 . M I T Ä M I TATA A N J A M I K S I ?
E H D O T U S R A H O I T U S M A L L I K S I 1 .
”KESU* -linjausten mukaisesti opetus- ja kulttuuritoimen rahoitusta
koskeva lainsäädäntö muutetaan ammattikorkeakoulujen osalta niin,
että rahoituksen määräytymisperusteissa ja rahoituskriteereissä otetaan
huomioon ammattikorkeakoulujen koko lakisääteinen toiminta laatua,
vaikuttavuutta ja tehokkuutta korostaen. Korkeakoulukohtainen
rahoitus määräytyy pääasiassa suoritettujen tutkintojen ja
opintoprosessien laadun ja tehokkuuden sekä työllistymisen
perusteella.”
Ehdotus ammattikorkeakoulujen rahoitusmalliksi 2014 alkaen (OKM 2012, 19)
* Koulutuksen ja tutkimuksen kehittämissuunnitelma vuosille 2011-2016
17.3.2014 6

7. 1 . M I T Ä M I TATA A N J A M I K S I ?
E H D O T U S R A H O I T U S M A L L I K S I ( A M K ) 2 .
Koulutuksen indikaattori Paino rahoitusmallissa
Suoritetut ammattikorkeakoulututkinnot 0,46
55 op suorittaneiden määrä 0,26
Valmistuneet työlliset 0,03
Avoimen ammattikorkeakoulun ja erillisten opintojen
opintopisteet
0,02
Ammatillisessa opettajankoulutuksessa suoritetut opinnot 0,2
Opiskelijapalaute 0,03
Koulutuksen kansainvälisyys 0,03
Yhteensä 0,85
17.3.2014 7

8. 1 . M I T Ä M I TATA A N J A M I K S I ?
Y K S I K K Ö L A A T U
Jos ollaan kiinnostuneita kokonaislaadusta, yksikkölaadun valvonta on
välttämätöntä
Opiskelija on hyvä kandidaatti arvioimaan tutkintonsa yksikkölaatua
AVOP –kyselyn mittauskohde on ammattikorkeakoulututkinnon
yksikkölaatu valmistumisvaiheessa olevan opiskelijan näkökulmasta
17.3.2014 8

9. 1 . M I T Ä M I TATA A N J A M I K S I ?
M I T Ä O N K O U L U T U K S E N L A A T U ?
Koulutuksen laatu on intersubjektiivinen, kiistelty ja alati muuttuva,
mutta pääpiirteiltään riittävän pysyvä, yhteisymmärrykseen tai
kompromissiin perustuva poliittinen käsitys hyvän koulutuksen
tavoitetiloista
Käsitykselle johdonmukaisesti AVOP -kyselyn laadun määrittely sekä
sen muuntaminen mittariksi on tehty yhteistoiminnallisesti 700 -800
ammattikorkeakoulukentän toimijan (henkilökunta ja opiskelijat) kesken
Tutkijan rooli prosessissa on ollut ohjata keskustelua ja tehdä
ehdotuksia siten, että lainsäädännölliset, (kasvatustieteelliset) ja
mittausteoreettiset haasteet sekä kyselyn kognitiivinen testaus ja
vertailukyselyt huomioidaan ratkaisuissa riittävissä määrin
17.3.2014 9

10. 2 . M I T E N M I TATA A N ?
T A V O I T T E E N A M Ä Ä R I T Y S V I R H E E N M I N I M O I M I N E N
Laadun käsitteen muuntaminen empiiriseen muotoon: tavoitteena
määritysvirheen minimoiminen
” Ainoa objektiivinen koulutuksen laadun mittari on tutkintojen määrä.”
Mitä on määritysvirhe, jos ei ole koulutuksen tosiarvoa?
Niin kattava, tasapainoinen ja tarkka arvio koulutuksen osa-alueista,
että sitä voidaan onnistuneesti ja oikeudenmukaisesti käyttää
arvioimaan ja ohjaamaan ammattikorkeakoulutusta
17.3.2014 10

11. 2 . M I T E N M I TATA A N ?
T Y Ö V A I H E E T 1 . S Y K S Y 2 0 1 2
Syksy 2012: koulutuspoliittisten trendien, lainsäädännön,
vertailukyselyiden sekä kasvatustieteellisen mittausteorian läpikäynti
Kaksi kyselyn kognitiivista testausta
Erityisalojen asiantuntijoiden kuuleminen
Hahmotelma kolmesta näkökulmasta koulutuksen laatuun:
1) hyvät käytännöt (yleinen), 2) oppiminen (poikkeuksellinen) ja 3)
opiskelutyytyväisyys (harvinainen)
17.3.2014 11

12. 2 . M I T E N M I TATA A N ?
T Y Ö V A I H E E T 2 . K E V Ä T J A K E S Ä 2 0 1 3
Yksi laaja kognitiivinen testi kevään 2013 alussa
Keskustelua kommenttiryhmässä lokakuusta 2012 heinäkuuhun 2013
Kansallinen verkkokyselypilotointi huhti-, touko- ja kesäkuussa 2013
17.3.2014 12

13. 2 . M I T E N M I TATA A N ? S I S Ä LT Ö
K O U L U T U K S E N L A A D U N K O K O N A I S I N D I K A A T T O R I 1
5 koulutuksen laadun mittaria, joiden standardoiduista arvoista
johdetaan kokonaisindikaattori väittämämäärillä painotettuna
keskiarvona
Koulutuksen laadun näkökulmien väliset painoarvot ovat silloin
karkeasti:
1. Koulutuksen käytännöt = ~ 68 %
2. Osaaminen = ~ 25 %
3. Opiskelutyytyväisyys = ~ 7 %
17.3.2014 13

14. Näkökulma laatuun Kokonaismittarin komponentit Osiot Osa-alueet
Opintojen sisältö
Opintojen suunnittelu ja ohjaus
Opetus
Opiskelu
Oppimisympäristöt
Opiskelun tukipalvelut
Palaute ja arviointi
Kansainv. monik. ja kieli -
Työelämäyhteydet
Työelämäneuvonta
Harjoittelun järjestäminen
Harjoittelun hyödyllisyys
Opinnäytetyön järjestäminen
Opinnäytetyön hyödyllisyys
Oppimisen taidot -
Työyhteisöosaaminen -
Innovaatio-osaaminen -
Kansainvälistymisosaaminen -
Yhteiskunta ja eettinen osaaminen -
Minäpystyvyys -
Asiantuntijaosaaminen -
Laaja-alainen osaaminen -
Tyyt. opetus ja ohjaus -
Tyyt. kansainvälisyys -
Tyyt. työelämäheisyys -
Tyyt. työelämätuki -
Tyyt. harjoittelujakso -
Tyyt. opinnäytetyöprosessi -
Tyyt. osaamisen kehittyminen -
Tyyt. ammatillinen kasvu -
Yleistyytyväisyys - -
Hyvät käytännöt
NQF-osaaminen (osaaminen
valmistumishetkellä + osaamisen
kehittyminen)Osaaminen
Yleisosaaminen
Opiskelutyytyväisyys
Opiskelutyytyväisyys osa-alueittain
Opinnäytetyö
Harjoittelu
Työelämäyht. ja neuvonta
Opetus ja oppiminen
Hyvät käytännöt

15. 2 . M I T E N M I TATA A N ? S I S Ä LT Ö
K O U L U T U K S E N L A A D U N K O K O N A I S I N D I K A A T T O R I 2

16. 2 . M I T E N M I TATA A N ? T Y Y L I
F O R M A T I I V I S E T J A H E I J A S T A V A T I N D I K A A T T O R I T
Tavoitteena mahdollisimman konkreettiset väittämät, joiden pohjalta
voidaan suoraviivaisesti johtaa myös kehitystoimenpiteet
Lisäksi muotoilulla haluttu varmistaa, että väittämät kantavat riittävästi
informaatiota erottelemaan hyvät ja huonot koulutuksen osa-alueet
toisistaan
Koulutuksen 5 komponenttia latentin koulutuksen laadun heijastavia,
epäsuoria indikaattoreita
Kukin komponentti muodostuu formatiivisista, komponentin
määrittävistä suorista indikaattoreista
17.3.2014 16

17. 2 . M I T E N M I TATA A N ?
K O U L U T U K S E N L A A D U N M I T T A R I N R A K E N N E
17.3.2014 17

18. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 1 . R E L I A B I L I T E E T T I
Satunnainen mittausvirhe tosiarvon varianssin ja mittaustuloksen
varianssin suhteena
Edellä hahmoteltu yhden faktorin (koulutuksen laatu) rakenne pätee
komponenttien kohdalla (mittari homogeeninen)
Koulutuksen laadun komponenttien Cronbachin alfa 0,86
Mittari stabiili (touko-, huhti- ja kesäkuun mittauksissa)
Keskiarvoestimaattorin keskivirhe 0,02; suhteellinen keskivirhe 0,004,
kun n=1338
Jakauma normaalinen → keskiarvoestimaattori harhaton ja tarkentuva)
17.3.2014 18

19. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 2 . K O N V E R G E N S S I
Faktorilataukset komponenteilla korkeat, lukuun ottamatta NQF –
osaamisen mittaria
Komponentit osoittavat samaan suuntaan
17.3.2014 19

20. 4,0000
4,2000
4,4000
4,6000
4,8000
5,0000
5,2000
5,4000
5,6000
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
Koulutuksenlaatu-indikaattori
Koulutuksen laatu-indikaattori
1. Hyvät käytännöt
2. Osaaminen
valmistumishetkellä
3. Osaamisen kehittyminen
4. Yleisosaaminen
5. Tyytyväisyys osa-alueittain
6. Yleistyytyväisyys
Lin. (Koulutuksen laatu-
indikaattori)
Lin. (1. Hyvät käytännöt)
Lin. (2. Osaaminen
valmistumishetkellä)
Lin. (3. Osaamisen
kehittyminen)
Lin. (4. Yleisosaaminen)
Lin. (5. Tyytyväisyys osa-
alueittain)
Lin. (6. Yleistyytyväisyys)

21. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 3 . M E T O D I T E K I J Ä T
Kyselyn pituus arviolta 19 minuuttia
Pituudella ja en osaa sanoa –vastausvaihtoehdolla ei merkittäviä
sisällöllisiä vaikutuksia vastauksiin
Sen sijaan yksikkö- ja erävastauskato sekä huolimattomasti
vastanneiden osuudet huolestuttavia; en osaa sanoa vaihtoehdolla ja
pituudella vaikutuksensa molempiin
17.3.2014 21

22. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 4 . S Y S T E M A A T T I N E N
M I T T A U S V I R H E
Koulutuksen laadun mittari vaihtelee merkittävästi
ammattikorkeakouluittain myös silloin, kun suuri määrä taustamuuttujia
on kontrolloitu
Erot laadun arvioissa eivät siis johdu eroista epäoleellisissa tekijöissä
Sen sijaan koulutuksen laadun indikaattoriin vaikuttavat myös
opintomenestys, oppimisstrategia, koulutusala ja kieli
Näistä huolestuttava lähinnä kieli: englannin- ja ruotsinkieliset arvioivat
koulutustaan merkittävästi suomenkielisiä myönteisemmin
17.3.2014 22

23. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 5 . V A L I D I T E E T T I
Sisältövaliditeetti oletettavasti poikkeuksellisen hyvä työn toteuttamisen
luonteen ja tehtyjen arvovalintojen vuoksi
Mittari vaikuttaa myös nomologisesti validilta, joskin verrokkimittari
hieman epäilyttävä ☺
Mittarin rakentamisessa on tietoisesti pyritty maksimoimaan sekä
informaatioarvo (kaikki tosiarvon varianssi mukana mittaustuloksessa)
että toistotarkkuus (mahdollisimman vähän ylimääräistä varianssia):
onko prosessi onnistunut?
17.3.2014 23

24. 4,60
4,70
4,80
4,90
5,00
5,10
5,20
5,30
5,40
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

25. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 6 . E R O T T E L U K Y K Y
Eroja korkeakoulujen välillä saadaan mittarilla esiin, mutta erot ovat
pieniä
Havaituista eroista määrittämätön osuus johtuu mittaus- ja
määritysvirheistä
Kaikkien laadulta peräkkäin järjestettyjen korkeakoulujen tilastollisesti
merkitsevä erotteleminen (p<0,05) vaatii noin 90% vastaajajoukon
perusjoukon koosta
Tämä takaa vasta, että erot ovat nollasta poikkeavia, eivät että ne ovat
sisällöllisesti merkittäviä tai riittävän suuria ollakseen merkityksellisiä
17.3.2014 25

26. 3 . M I T E N M I T TA R I T O I M I I ?
K O K E M U K S I A P I L O T O I N N I S T A 7 . N Q F – O S A A M I S E N
M I T T A R I J A V A S T A U S K A T O
Kokonaismittari toimii hyvin, NQF –osaamisen mittari ei
Osaamisen itsearvioinnin vaikeus ja epäluotettavuus, retrospektiivisen
arvion hataruus, erotuksen johtaminen yhdestä mittarista,
osaamismääreiden abstraktius jne.
NQF –osaamisen mittarin toimimattomuuteen liittyy ratkaistavissa
olevia ongelmia: erityiset kompetenssit (ja ehdotus opintojaksoksi)?
NQF –osaamisen mittarin lisäksi erottelukyvyn kannalta huolena
vastauskato
17.3.2014 26

27. 4 . T O I M E E N PA N O E H D O T U K S E T
R A H O I T U S M A L L I J A E R O T T E L U K Y K Y
Laaturyhmien muodostamisen sijaan mittari voisi toimia jatkuvana:
Tällöin insentiivi kehittää koulutusta on pienempi kuin epäjatkuvalla
mittarilla, koska efektiiviset erot rahoituksessa pieniä – vastaa kuitenkin
paremmin mittarin antamia tuloksia
17.3.2014 27

28. 4 . T O I M E E N PA N O E H D O T U K S E T
K Y S E L Y M I T T A R I N K Ä Y T T Ö Ö N O T T A M I N E N O S A N A
Y H D E N O P I N T O P I S T E E N O P I N T O J A K S O A
Mikään mittari ei ole sellaisenaan hyödyllinen: se täytyy ottaa käyttöön
osana koherenttia palaute- ja arviointijärjestelmää
Kyselyyn liittyvät vastauskadon, pituuden ja NQF –osaamisen mittarin
ongelmat sekä systemaattisen käyttöönoton asettamat haasteet
voidaan kaikki ratkaista esimerkiksi 1 opintopisteen palautteen
antamisen ja vastaanottamisen opintojaksolla
Jos näin tehdään, mittari toimii hyvin laadun arvioinnissa
Mittarin sisäinen rakenne ja väittämien muotoilu mahdollistaa osana
opintojaksoa tehokkaat käytännön toimenpiteet koulutuksen laadun
kehittämiseksi
17.3.2014 28

29. 4 . T O I M E E N PA N O E H D O T U K S E T
M I T Ä S E U R A A V A K S I ?
Uudelleenpainotus? Tiedonkeruun standardoiminen? Tulosten
raportointi? Tulosten tulkinta? Tulkinnan mukainen toimeenpano?
Vaihtelevat tiedonkeruukäytännöt eivät saisi vaikuttaa opiskelijoiden
antamaan koulutuksen laadun arvioon
Tulokset tulee esittää havainnollisessa visuaalisessa muodossa
julkisesti tuleville opiskelijoille ja koulutuksen laadun arvioista
kiinnostuneille
Aineisto yhteiseen tietokantaan?
Korkeakouluille yhteenvedot rahoituskausittain?
Määrätyt henkilöt arvioimaan ja toteuttamaan kehitystoimenpiteitä
annetun palautteen perusteella?
17.3.2014 29

30. K I I T O S K Ä R S I V Ä L L I S Y Y D E S T Ä !
Kysymyksiä?
Yhteydenotot osoitteeseen leo.aarnio@otus.fi
Verkkoon perustetaan osoitteeseen avop@otus.fi keskusteluryhmä
raportista. Osoitteesta löytyvät myös raportin kannalta oleelliset
liitetiedostot.
17.3.2014 30