1. CONSIGLIO NAZIONALE DELLE RICERCHE
Istituto di Studi sui Sistemi Regionali Federali e sulle Autonomie
''Massimo Severo Giannini''
Roma, 19 marzo 2012
La Valutazione della Ricerca del CNR
Le sfide della VQR dell’ANVUR
Giorgio Sirilli

2. Un Seminario di politica scientifica

3. Indice
 La genesi
 L’approccio
 Gli attori
 La Valutazione della Qualità della Ricerca (VQR)
 Discussione
 Le sfide

4. La domanda
 Quale sarà l’esito
della valutazione
del CNR da parte
dell’ANVUR?

5. Possibile classifica degli enti di ricerca
INFN
CNR
.…
.…
.…
.…
.…

6. E’ possibile pronosticare l’esito della
VQR per gli enti di ricerca?
No

7. Un precedente
 Studio all’inizio del millennio (2002)
 Il 3% di Lisbona
1,20

8. L’approccio
 Domanda di ricerca
 Dati
 Elaborazione
 Conclusioni
 Previsioni e raccomandazioni

9. La valutazione della ricerca
La valutazione della ricerca può essere definita come un processo
oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e
dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e
singoli ricercatori nel perseguire gli obiettivi prefissati.
La valutazione consiste in un complesso di attività coordinate, di
carattere comparativo, basate su metodi e tecniche formalizzate e
realizzate attraverso procedure codificabili, volte ad esprimere un
giudizio su interventi intenzionali rispetto al loro svolgimento ed agli
effetti generati.

10. La prima valutazione (Genesi)
Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che
aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne
sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si
riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che
Gli chiese: “Dio, come fai a sapere che quello che hai creato è
‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi
la Tua valutazione? Non sei Tu forse un po’ troppo direttamente
coinvolto per dare un giudizio spassionato?” Dio rifletté su queste
domande per tutto il settimo giorno, ed il Suo riposo fu molto
agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”.

11. La valutazione e gli indicatori

12. La valutazione e gli indicatori
L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche
degli indicatori è corretta, ma è comunque parziale
Each in his own opinion Ciascuno con la sua opinione
Exceeding stiff and strong, Convinto caparbiamente di essere nel
Though each was partly giusto,
in the right, Sebbene ciascuno fosse parzialmente
And all were in the wrong! nel giusto,
Tutti erano nell’errore!
John Godfrey Saxe (1816–1887) John Godfrey Saxe (1816–1887)
"The Blind Men and the Elephant" "The Blind Men and the Elephant"

13. La valutazione
(Ben Martin)
 “Quando misuri un sistema, cambi il sistema”
 “I quattro principi di Merton:
- universalismo
- comunitarismo
- disinteresse
- scetticismo organizzato
sono sempre più erosi”

14. La valutazione: il difficile equilibrio tra le
esigenze della scienza e quelle della società
14

15. La matrice multidimensionale della valutazione
Unità da Obiettivo Dimensioni Indicatori Altri indicatori
valutare dell’output bibliometrici
Individuo Allocazione di Produttività della Pubblicazioni Valutazione dei
risorse ricerca pari
Miglioramento Impatto sulla Impact factor Brevetti, licenze,
Gruppo di
della performance comunità spin-off
ricerca
scientifica
Incremento della Innovazione e Impatto delle Inviti alle
Dipartimento citazioni conferenze
multidisciplinarità beneficio sociale
Incremento del Sostenibilità Collaborazioni Finanziamenti
Istituzione internazionali esterni
coinvolgimento
regionale
Infrastrutture di Prestigio delle “Qualità” dei PhD
Area di Promozioni, citazioni
ricerca reclutamento ricerca

16. La VQR
Unità da Obiettivo Dimensioni Indicatori Altri indicatori
valutare dell’output bibliometrici
Individuo Allocazione di Produttività Pubblicazioni Valutazione
risorse della ricerca dei pari
Miglioramento Impatto sulla Impact Brevetti,
Gruppo di
della comunità factor licenze, spin-
ricerca
performance scientifica off
Incremento della Innovazione e Impatto
Diparti- Inviti alle
multidisciplinarità beneficio delle
mento conferenze
sociale citazioni
Incremento del Collaborazioni Finanziamenti
Istituzione Sostenibilità
coinvolgimento internazionali esterni
regionale
Area di Promozioni, Infrastrutture di Prestigio delle “Qualità” dei PhD
ricerca reclutamento ricerca citazioni

17. ROARS
http://www.roars.it/online/

18. Agenzia vigilata dal MIUR
Sette membri (tutti universitari)

19. Gli attori della VQR
 ANVUR
 Gruppi di Esperti della Valutazione (GEV)
 Revisori
 Strutture
 Università
 Dipartimenti
 Enti di ricerca
 CINECA
 Ricercatori

20. La VQR
 GEV
 14 Gruppi
 450 esperti (di cui 3 del CNR)
 Cronoprogramma della VQR
 Inizio: novembre 2011
 Fine: giugno 2013

21. VQR – Aree, GEV, ricercatori, prodotti
GEV Universities Research agencies
Max
Full Assistant Research Technolo number of
Area professor professor Researcher TOTAL er gist products
Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075
Physics 18 604 816 870 2290 262 44 8572
Chemistry 23 703 963 1293 2959 338 57 11076
Earth science 9 259 376 460 1095 125 21 4099
Biology 38 1234 1361 2283 4878 557 94 18259
Medicine 79 2186 2955 5052 10193 1165 196 38154
Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375
Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483
Industrial and Computer engineering and
Ancient History Philological Literature 39 1600 1504 1961 5065 579 97 18959
Arts 42 1512 1628 2256 5396 617 104 20198
History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469
Law 37 1612 1123 2049 4784 547 92 17907
Economics and Statistics 36 1580 1331 1758 4669 533 90 17477
Political and Social sciences 13 437 485 775 1697 194 33 6352
TOTAL 449 15972 16980 24875 57827 6609 1112 216455

22. La metodologia
 15 indicatori utilizzati
 7 indicatori di Area
 8 indicatori di “Terza missione”

23. Indicatori
Indicatori di Area legati alla ricerca:
qualità (0,5)
attrazione di risorse (0,1)
mobilità (0,1)
internazionalizzazione (0,1)
alta formazione (0,1)
risorse proprie (0,05)
Oggi l’attenzione è tutta qui
miglioramento (0,05)

24. Qualità dei “prodotti”
Punteggi:
eccellente 1,0 20% superiore della scala internazionale
buono 0,8 60-80%
accettabile 0,5 50-60%
limitato 0,0 <50%
mancante -0,5
non valutabile -1,0
plagio o frode -2,0

25. Problemi della valutazione dei prodotti
Valutazione dei pari/
bibliometria
Riviste da
Giudizio finale Associati includere
dei GEV
Presenza schiacciante
Pesi Selezione dei
degli universitari
20-20-10-50 referee
Valori positivi Prodotti 6/3
e negativi

26. Gli indicatori
 Indicatori di struttura di ‘terza missione’:
conto terzi (0,2)
brevetti (0,1)
spin-off (0,1)
incubatori (0,1)
consorzi (0,1)
siti archeologici (0,1)
poli museali (0,1)
altre attività (0,2)

27. Quanti indicatori?
Uno, nessuno, centomila?
Tre scenari per gli indicatori:
 un indicatore sintetico
 due indicatori (Area e Terza missione)
 cruscotto (scoreboard)
Scenari possibili:
 Graduatorie (Shanghai)
 multi-ranking

28. Valutazione della Qualità della Ricerca (VQR)
Università Enti di ricerca
Didattica
Ricerca
Ricerca
Terza
Terza missione
missione

29. Valutazione della Qualità della Ricerca
(VQR)
VAlutazione delle Strutture che svolgono
Attività di RIcerca e di TRAsferimento delle
COnoscenze
(VASARITRACO)

30. Il progetto della VQR
 Il progetto della VQR è ancora una abbozzo, manca la stesura finale
in cui sono specificate le modalità di misurazione

31. Un profilo degli enti pubblici di ricerca

32. Gli enti pubblici di ricerca:
realtà molto eterogenee

33. Alcune caratteristiche degli enti pubblici di ricerca vigilati dal MIUR e di altri grandi enti. Anno 2009
Sigla Caratteristiche
differenziazione svolge svolge svolge
scientifica e attività di attività di attività di
tecnologica ricerca formazione servizio
Enti vigilati dal Miur
Cnr alta sì sì sì
Infn bassa sì sì no
Inaf bassa sì no no
Ingv bassa sì no sì
Asi bassa no no no
Inrim media no sì sì
Ogs media sì no no
Stazione zoologica "A. Dohrn" bassa sì sì sì
Parco tecnologico Trieste alta no sì sì
Centro Fermi bassa no no no
Indam bassa no no no
ISG bassa no no no
Altri enti 6/12 5/12 5/12
Enea alta sì sì si
Istat bassa sì sì sì
Iss media sì sì sì
Isfol bassa sì no si
Iit media sì no no

34. La valutazione degli Istituti del CNR
 Svolta nel 2009
 Metodologia: “a tavolino” e “visita in loco”

35. L a valutazione degli Istituti - 2009

36. L a valutazione degli Istituti - 2009

37. L a valutazione degli Istituti - 2009

38. La valutazione degli Istituti del CNR
Un’opportunità persa?
http://www.issirfa.cnr.it/download/File/Research%20Evaluation%2017_3_2011.pdf

39. Alcune considerazioni
 Gli enti pubblici di ricerca devono essere valutati
 La metodologia della VQR è inadatta per gli enti di ricerca
 Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”)
 Informazioni “vecchie” (2004-2010) per un’utilizzazione futura in
tempi di “vacche magre”
 Valutazione adiuvante, non punitiva
 Modalità di utilizzazione dei risultati da parte dei policy maker

40. Sfide per il CNR
 Penalizzazione del CNR – è più che un rischio
 Prestare attenzione agli “altri” 14 indicatori
 Tipo e qualità dei dati da fornire all’ANVUR
 Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi
 Come rapportarsi con gli altri enti (concorrenti)?
 Chiedere che gli enti di ricerca siano valutati a parte
 Chiedere un “momento di riflessione” per migliorare la metodologia
 Gestire le tensioni all’interno del CNR

41. E ora … affrontiamo le sfide
Mettiamoci a lavoro
Grazie dell’attenzione