International conference Olomouc, 14. 5. 2015 / Paul Hubbard

1. Efektivní systém institucionální
finanční podpory výzkumných
organizací založených na výkonech
(PRFS): principy a praxe
Paul Hubbard
www.metodika.reformy-msmt.cz

2. O mně…
• vedoucí výzkumné politiky na HEFCE, od 2003 do 2013: expertní poradenství v
oblasti návrhu systémů hodnocení a jejich využití při přidělování financí v podobě
„blokových grantů“ univerzitám ve Velké Británii,
• 1992 – spolupráce na vývoji hodnocení RAE; 1996 – RAE manažer; vedl práce
HEFCE, které přispěly k podstatnému přezkoumání principu hodnocení ve Velké
Británii a vyústily v hodnocení RAE 2014; předsedou řídicí komise RAE.
Poznámka překladatele:
HEFCE = Higher Education Funding Council for England
RAE = Research Assessment Exercise
PRFS = Performance-based Funding System
2

3. Efektivní PRFS: principy a praxe
• Proč bychom měli hodnotit kvalitu a proč navázat výkon na financování?
• Principy: v čem spočívá silný systém hodnocení a výběr principu hodnocení?
• Praxe: vědní disciplíny a výzkumné jednotky
• Praxe: informace a indikátory
• Praxe: management a komunikace
• Hodnocení a financování
• Několik myšlenek závěrem
3

4. Proč hodnotit kvalitu?
Hodnocení kvality nám umožní „dívat se zpět“, abychom „viděli dopředu“ a
plánovat na základě důkladného pochopení, odkud jsme začínali.
Efektivní hodnocení kvality nám může:
• podat informace o tom, jak dobrý je národní systém, instituce nebo výzkumná
skupina – poskytování informací veřejnosti a odpovědnost za veřejné
financování,
• identifikovat silné a slabé stránky,
• povzbudit a informovaně podněcovat ke zlepšení standardů.
4

5. Proč provázat výkon s
financováním?
Hodnocení propojené s financováním má všechny tyto dopady a navíc
poskytuje:
• mnohem silnější podněty ke zvýšení standardů a zároveň posiluje autoritu
výzkumných lídrů a manažerů,
• lepší cílení financování v návaznosti na cíle politiky VaV,
• posílení odpovědnosti za použité finance.
5

6. Co tvoří pevný hodnoticí systém?
• Objektivita a průhlednost: je vnímán jako férový a dobře informovaný,
• důslednost: všechny obory jsou hodnoceny na základě podobných kritérií a
souboru dat a společných měřítek excelence,
• vhodnost účelu: systém je navržen tak, aby splnil cíle politiky,
• vhodnost pro národní systém a kulturu: neexistuje jediné řešení, které
vyhovuje všem zemím a nejvhodnější sytém pro jeden stát nemusí být nejlepší
pro stát jiný,
• včasnost a opakování: hodnocení je pravidelně aktualizováno a učíme se v něm
z vlastních zkušeností, abychom zdokonalili náš postup,
• důvěryhodnost: poskytovatelé, výzkumníci i ostatní přijmou, že výsledky
hodnoticího systému jsou dobré.
6

7. Výběr principu hodnocení a
financování (1)
Co chceme znát a čeho se snažíme docílit?
• Jasný přehled silných a slabých stránek nám pomůže při volbě, jaká politická
rozhodnutí pro zlepšení, případně pro cílené financování zvolit.
• Identifikace silných oblastí a důkladná pozornost věnovaná společenskému
dopadu výzkumu předloženého k hodnocení nám pomůže zajistit, aby
výzkumná základna plně podporovala národní hospodářství.
7

8. Výběr principu hodnocení a
financování (2)
Hlavní dostupné principy hodnocení jsou:
• Sebehodnocení,
• Statistické hodnocení (“indikátory” nebo “metriky”),
• Peer review.
8

9. Sebehodnocení
• Napomáhá výzkumníkům a hodnoceným výzkumným jednotkám zajistit, aby
jejich silné stránky byly viditelné a plně doceněné.
• Podporuje reflexi a budování strategií ve výzkumných jednotkách.
• Pokud je však použito jako hlavní prvek hodnocení nebo financování, tak
vyvstávají nevyhnutelné otázky důvěryhodnosti a spolehlivosti.
9

10. Hodnocení pomocí statistik
• Je objektivní a zakládá se na faktech, není jednoduše manipulovatelné nebo
ovlivnitelné.
• Lze jej provést relativně jednoduše a levně a může být opakováno dle
potřeby.
• Funguje však lépe v určitých oborech než v jiných a pro velké jednotky než
pro menší.
• Kvantitativní informace nám ovšem nemohou říci všechno o výzkumné
jednotce; vybraný statistický přístup a interpretace dat budou hojně
kritizovány
10

11. Peer review
• Dobře zavedená metodika, široce akceptována ve výzkumné komunitě.
• Peer review hodnocení je pouze tak dobré, jak dobré jsou informace, na
kterých se zakládá, a jaká je odbornost hodnotitelů. Dobře navržený systém a
jeho ověření ve srovnání s mezinárodními standardy excelence jsou
základem úspěchu.
• Významná účast mezinárodních hodnotitelů zajistí, že výstupy hodnocení
budou porovnatelné s mezinárodními standardy, a zároveň bude
minimalizován možný střet zájmů.
11

12. Vybíráme si svoje postupy
• Nejlepší postup k tomu, abychom dospěli k vyváženému a kvalitnímu
hodnocení napříč všemi obory a na úrovni jednotlivých institucí nebo
jednotek, je peer review hodnocení, které čerpá z pečlivě vybraných a
interpretovaných statistických a kontextuálních informací. Tento postup musí
umožnit výzkumným organizacím a jednotkám, aby sdělily, v čem podle nich
spočívá jejich hlavní síla.
• Hodnocení, které kombinuje jasné a široké indikátory se škálováním proti
několika hodnoticím kritériím, může nejlépe zachytit celý rozsah rozdílných
výzkumných metod a výstupů napříč akademickým spektrem. Mnohem lépe,
než přidělení jedné jediné „známky“.
12

13. Praxe: obory a výzkumné
jednotky (1)
• Jak rozdělit práci mezi obory a jak definovat výzkumnou jednotku v praxi, to
jsou klíčová rozhodnutí.
• Je nutné zajistit, aby hodnocení bylo provedeno na správné úrovni a bylo
dostatečně detailní. Tím budou rozpoznatelné různé přístupy napříč obory a
také bude možné získat informace pro politická rozhodnutí.
13

14. Praxe: obory a výzkumné
jednotky (2)
• Je třeba zajistit, aby panely hodnotily výzkumné skupiny a jednotky, ne jednotlivce.
• Informace o specifickém rozpoznatelném oboru nebo podoboru jsou užitečnější pro
manažery a plánovače než pro širší posouzení.
• Potřebujeme definovat oborové disciplíny, abychom reflektovali běžnou praxi – jak jsou
výzkumníci seskupeni a řízeni v rámci svých institucí?
• Je důležité, že hodnoticí panel funkční velikosti by neměl pokrývat příliš široký obor, aby byl
důvěryhodný.
• Velikost systému je relevantní – objem práce panelu by měl být zvladatelný.
• Seskupení panelů do širokých oborových skupin pomáhá udržet společné standardy.
• Systém musí dobře zvládat mezioborové disciplíny výzkumu.
14

15. Praxe: informace a indikátory
• Musíme sesbírat dostatek informací, abychom dali panelům celkový obraz.
• Zároveň nesmíme zahltit panely informacemi, které nepotřebují nebo kterým
nerozumí.
• Je dobré mít kombinaci vstupních a výstupních dat. Vstupní data nám řeknou,
se kterými zdroji musí jednotka pracovat; výstupní data nám ukáží, co umí
jednotka z těchto zdrojů vytvořit. Obojí jsou dobrými indikátory kapacity a
potenciálu jednotky k dosažení excelentního výzkumu v budoucnu.
• Kvantitativní indikátory by měly být použity k informování akademického
posouzení: neměly by být použity přímo jako zdroj pro hodnocení kvality
15

16. Indikátory
Ideálně potřebujeme množinu indikátorů, která pomůže hodnoticímu panelu
porozumět:
• jaké zdroje má jednotka k dispozici (ukazují její kapacitu a závazky
financujících),
• jaké vnější uznání (financování a jiné) si její úspěchy zasloužily,
• celou škálu úspěchů a jejich dopadů,
• může být ponechán prostor pro indikátory produktivity, zejména pokud je to v
zájmu politiky, ale objem práce jako takové nemusí vždy být indikátorem
kvality.
16

17. Indikátory: citační indexy
(bibliometrika)
Citační indexy jsou významným indikátorem kvality výzkumu:
• v oborech, kde je publikování v časopisech/sbornících zavedenou praxí,
• v případě, že se hodnotí dostatečný počet výsledků v rámci oboru a úzce
souvisejících činností,
• pokud jsou použity s jasným pochopením kontextu (porovnávání v rámci
podoboru, ve kterém se citační praxe příliš neliší).
17

18. Indikátory: citační indexy
(bibliometrika)
Citační indexy jsou rovněž užitečné pro účely peer review i na úrovni jednotlivých
výsledků, kdy hodnotitelé rozumí kontextu a publikačním a citačním zvyklostem v
oboru.
18

19. Informace: nejlepší výstupy
Požadavek, aby jednotky pro účely hodnocení identifikovaly svoje nejlepší
výstupy, nám umožňuje udělat si dobrý obrázek o tom, co výzkumné
jednotky umí: sílu, hloubku a šířku jejich práce.
• Ponechává objem práce hodnotitele na zvladatelné úrovni.
• Zaměřuje pozornost na skutečně vynikající výzkumnou práci.
• Je důležité rozlišovat rozmanitost forem výzkumných výstupů v jedné
disciplíně i mezi vědními disciplínami.
19

20. Praxe: management a
komunikace (1)
Principy hodnocení a financování musí být pokládány za průhledné a
spravedlivé. Pomůže, pokud:
• proces hodnocení a kritéria jsou publikována podrobně a v předstihu,
• výzkumné organizace cítí, že jim bylo umožněno zcela ukázat své silné
stránky,
• hodnoticí panely mají plnou podporu sekretariátu a pracují společně, aby
zajistili společné standardy,
• panely poskytují souhrnnou a podpůrnou zpětnou vazbu, ve které identifikují
silné i slabé stránky.
20

21. Praxe: management a
komunikace (2)
Měli bychom udělat všechno, co můžeme, abychom odradili hodnocené
výzkumné jednotky od přílišné připravenosti a „rozehrávání her“. Naším cílem by
mělo být podněcování důvěry, že hodnoticí systém najde výjimečnost, ať už
existuje kdekoliv.
21

22. Hodnocení a financování (1)
Je často nejlepší provést hodnocení před konečným rozhodnutím o
parametrech financování:
• snižuje se tak tlak na hodnoticí panely,
• snižuje se tak rozsah „rozehrávání her” v podávaných přihláškách do
hodnocení,
• umožňuje se vytvořit financování na míru na základě nalezeného vzorce
výjimečnosti.
22

23. Hodnocení a financování (2)
• Je vysoce žádoucí mít jasný názor na to, jaké objemy výzkumné činnosti jsou
posuzovány a financovány u jednotlivých výzkumných jednotek a organizací.
• To vyžaduje nějakou formu počítání aktivních výzkumných pracovníků . Mezi
financování a hodnocením lze vytvořit vhodnou „smyčku záporné zpětné
vazby“, odrazující od „nadhodnocování“ FTE.
• Objem výstupů nelze napříč vědními disciplínami věrohodně srovnávat.
23

24. Několik myšlenek na závěr
• PRFS je silným nástrojem pro zkvalitňování národní výzkumné základny v souladu s cíli
politiky VaV a podporou ze strany výzkumných manažerů.
• Pravidelné opakování hodnocení umožňuje naladit postup na národní potřeby a podmínky.
Neexistuje jediný nejlepší postup pro všechny výzkumné systémy.
• Pokud se přístup k hodnocení bude zdát výzkumným jednotkám složitý a zatěžující, může se
stát, že pro přípravu budou dělat více, než je skutečně nutné.
• Dobře navržený systém nebude destabilizovat silné výzkumné jednotky. Tempo jakékoli
změny bude z velké části určeno rozhodnutím o financování.
• Průhlednost a dobrá komunikace s výzkumníky ve všech stádiích jsou nutností.
• Vyskytne se kritika a jistá míry „rozehrávání her“. Pokud však bude systém dobře navržen a
řízen, tak to neznehodnotí výsledky: naopak, jistá míra pokračující debaty je užitečná.
24

25. Děkuji za pozornost!
www.metodika.reformy-msmt.cz