1. Seminario F.A.R.O
Autoanalisi e processi nazionali
di sperimentazione in ambito valutativo
Donatella Poliandri
Palermo 4 maggio 2012

2. I quattro ambiti della valutazione
 Efficacia del sistema nel suo
complesso (anche in confronto con altri
paesi)
 Qualità delle singole scuole
 Apprendimenti degli studenti
 Professionalità degli operatori
scolastici
Forte integrazione
Donatella Poliandri

3. Analisi delle esperienze straniere
Elementi comuni:
 Elaborazione di un quadro di riferimento teorico che integra la
prospettiva di sistema con quella di scuola
 Individuazione di indicatori/aspetti/criteri
 Definizione di standard/benchmark
 Legame tra valutazione degli apprendimenti e valutazione delle
scuole
 Relazione tra valutazione esterna e valutazione interna
Donatella Poliandri

4. Segue - Analisi delle esperienze straniere
 Ritorno dell’informazione agli operatori scolastici
 Team/azioni per il miglioramento
 Integrazione di tecniche qualitative e quantitative per la
rilevazione delle informazioni
 Sperimentazione sul campo
 Aggiornamento continuo dei sistemi di indicatori
Donatella Poliandri

5. Le esperienze in corso
 Valutazione e Miglioramento
Osservazione in classe
specificità
Percorsi di autovalutazione
 VSQ (Valutazione Sviluppo Qualità
scuola)
specificità Premialità
 VALES (Valutazione e Sviluppo
Scuola)
Integrazione con la Valutazione
specificità del DS
Donatella Poliandri

6. VALUTAZIONE E MIGLIORAMENTO

7. Domande di valutazione
Progetto Valutazione e Miglioramento
 La qualità progettuale e l’efficienza organizzativo - gestionale delle
scuole nell’utilizzo dei fondi PON è adeguata?
 L’offerta formativa e l’organizzazione complessiva delle scuole
destinatarie dei fondi PON è adeguata?
 Quali risposte dare alle scuole che si rivelano inadeguate per uno
più aspetti?
Ipotesi di lavoro
Costruire un percorso di valutazione esterna delle scuole che, integrato
con una riflessione interna, possa sviluppare la capacità delle scuole di
migliorare la qualità complessiva del servizio e avere come
conseguenza un innalzamento dei livelli di apprendimento degli
studenti.
Donatella Poliandri

8. Obiettivi del progetto
 Valutare la qualità progettuale e l’efficienza organizzativo -
gestionale della scuola in merito all’utilizzo dei fondi PON
 Fare una diagnosi complessiva dell’offerta formativa e
dell’organizzazione della scuola volta a individuare punti di forza e di
debolezza del servizio offerto
 Restituire alle scuole coinvolte un rapporto di valutazione che serva
come punto di partenza per la realizzazione di azioni di
miglioramento
 Sperimentare un modello di valutazione esterna delle
istituzioni scolastiche (elaborazione di un prototipo)
Donatella Poliandri

9. Il progetto PON Valutazione e Miglioramento
È articolato in fasi distinte che si svolgono in modo
progressivo in più anni scolastici:
 Fase 1: valutare la qualità progettuale, l’efficienza organizzativa e
quella gestionale delle singole istituzioni scolastiche nell’attuazione
dei PON Istruzione (FSE e FESR) Circa 450 scuole
 Fase 2: identificare i punti di forza e i nodi critici del servizio
scolastico offerto in un’ottica di valutazione sistemica Circa 140 scuole
 Fase 3: sostenere azioni di miglioramento Circa 140 scuole
Il Progetto ha avviato inoltre un’estensione fino al termine del 2014 per un
campione di ulteriori 400 scuole del I ciclo, con il coinvolgimento di
istituzioni scolastiche del Centro e del Nord Italia
Donatella Poliandri

10. Il quadro di riferimento teorico
L’intera struttura del progetto si basa su un vasto studio
condotto dall’INVALSI  VALSIS
(Valutazione del sistema scolastico e delle scuole)
A partire dall’esplorazione e classificazione degli indicatori
utilizzati da molti paesi per valutare i propri sistemi
scolastici, il Quadro di riferimento teorico per la valutazione
del sistema scolastico e delle scuole formula una proposta
articolata in aree e sottoaree descritte da specifici indicatori.
Il modello è riconducibile alle 4 dimensioni del CIPP (CIPP:
Context, Input, Process, Product) Donatella Poliandri

11. Aspetti innovativi del progetto
La formazione degli osservatori
Per la valutazione delle istituzioni scolastiche, sono stati selezionati e
formati 40 osservatori, riconducibili a due profili professionali:
 Profilo metodologico  esperto nelle procedure e nell’utilizzo
degli strumenti di rilevazione
 Profilo pedagogico  esperto delle problematiche relative alla
didattica e all’organizzazione scolastica
Donatella Poliandri

12. Aspetti innovativi del progetto
Una pluralità di strumenti
Scheda di osservazione
in classe e in laboratorio
Intervista strutturata
al Dirigente Scolastico Interviste di gruppo a
insegnanti, genitori e studenti
Valutazione (Nominal Group Technique)
Rubriche di
esterna
valutazione
Questionari per
Foto documentazione
scuole, genitori, studenti
e insegnanti
Analisi della
documentazione
Donatella Poliandri

13. Aspetti innovativi del progetto
La restituzione alle scuole
Gli osservatori hanno elaborato un rapporto di valutazione per
scuola, che presenta in modo analitico le elaborazioni delle
informazioni raccolte, evidenzia i punti di forza e di debolezza del
servizio scolastico offerto, e suggerisce piste di miglioramento.
 Restituzione delle informazioni personalizzate per scuola
 Confronto tra la singola scuola e i dati medi delle scuole coinvolte
 Presentazione di elementi per un percorso di autovalutazione
 Individuazione di piste di miglioramento  avvio di un percorso di
miglioramento supportato da esperti
Donatella Poliandri

14. Aspetti innovativi del progetto
L’esperto per il miglioramento
Un esperto nella progettazione e realizzazione di interventi a scuola
supporta le scuole in presenza (2-3 visite) e a distanza
Supporto iniziale per la stesura
del progetto di miglioramento
Funzioni
Supporto in itinere per
consulenza di processo
Supporto finale per fare un primo
bilancio dell’azione
 L’INVALSI ha costituito una banca dati esperti articolata in aree
tematiche, selezionando circa 100 figure sul territorio nazionale 14
Donatella Poliandri

15. I risultati raggiunti
L’utilizzo dei fondi PON da parte delle scuole
I dati raccolti:
 forniscono elementi conoscitivi validi all’Autorità di gestione per orientare le
proprie decisioni
 descrivono i processi attuati dalle scuole rispetto ad alcuni nodi critici (es.
coerenza tra piano integrato e autodiagnosi iniziale, integrazione del piano
integrato nel piano dell’offerta formativa, l’integrazione tra attività
progettuali e attività ordinarie, ricadute sui risultati curriculari)
 danno indicazioni per migliorare la capacità progettuale delle scuole e
l’attuazione del programma stesso
Rispetto alle precedenti modalità di audit, l’impostazione adottata ha permesso
di leggere la progettualità delle scuole non solo in termini di adeguatezza/
mancanza di adeguatezza alle procedure, ma anche in termini qualitativi,
dettagliando maggiormente il giudizio. Le scuole sono state classificate a
partire da alcuni criteri di qualità individuati.
15
Donatella Poliandri

16. I risultati raggiunti
La valutazione esterna delle scuole
I risultati raggiunti riguardano la prospettiva della singola scuola:
 ciascuna scuola osservata ha ricevuto un rapporto di valutazione
che permette il confronto con le altre scuole
 i rapporti di valutazione hanno evidenziato i punti di forza e i punti
di debolezza del servizio scolastico offerto e alcune piste
miglioramento
 le scuole hanno avviato un percorso di riflessione interna /
autovalutazione e scelto la pista di miglioramento più rispondente
alle proprie esigenze
 le scuole hanno avuto la possibilità di dialogare con la valutazione
esterna inviando note, integrazioni, precisazioni
Donatella Poliandri

17. I risultati attesi
Supporto nei percorsi di miglioramento
I risultati attesi a conclusione degli interventi di miglioramento sono:
 accrescere la capacità delle scuole di realizzare azioni di
miglioramento concentrandosi sulla risoluzione di specifici punti di
debolezza
 consolidare il ruolo degli esperti per rispondere alle esigenze di
supporto delle scuole (tematiche, metodologiche)
 accrescere la capacità delle scuole di condurre percorsi di
riflessione interna / autovalutazione
I percorsi di miglioramento sono in corso di realizzazione.
Donatella Poliandri

18. VSQ
(Valutazione Sviluppo
Qualità Scuola)

19. Innovazioni in VSQ
Il progetto VSQ rappresenta
 lo sforzo di una esemplificazione del merito in criteri valutabili
 la scelta di una prospettiva di tipo multicriteriale
 l’integrazione dei due sistemi premianti individuati da Sen in
Merit and Justice (2000), ossia il compenso sulla base dei risultati
(incentivo) e quello sulla correttezza/adeguatezza delle azioni
ricompensate di per sé, a prescindere dai risultati ottenuti
 l’integrazione fra il sistema premiale e quello della
‘discriminazione positiva’ con lo scopo di misurarsi concretamente
con gli esiti di processi che hanno a che fare con la competizione,
ma anche con le pari opportunità
Donatella Poliandri

20. Obiettivi del progetto VSQ
VSQ è un progetto sperimentale per un sistema di
valutazione finalizzato all’erogazione di premi e di azioni
di supporto agli istituti scolastici
 Gli obiettivi specifici sono
 disegnare un modello per la valutazione delle
istituzioni scolastiche autonomo, chiaro, affidabile,
condiviso;
 individuare e premiare le migliori performance;
 introdurre meccanismi di stimolo a intraprendere
percorsi di miglioramento nelle scuole.
Donatella Poliandri

21. Progetto VSQ: integrazione di due prospettive
a) la prospettiva della premialità attraverso
l’individuazione di aree di valutazione tali da permettere
di stilare una graduatoria (nello specifico: il valore
aggiunto contestualizzato – italiano e matematica;
l’inclusione – studenti con disabilità, studenti stranieri; il
recupero e il potenziamento; l’orientamento; la
valutazione – programmazione e valutazione degli
studenti, valutazione interna / autovalutazione);
b) la prospettiva del miglioramento, ossia un
accertamento diagnostico complessivo sull’istituzione
scolastica, attraverso l’utilizzo di una pluralità di fonti e di
strumenti di rilevazione, con l’obiettivo di delineare punti
di forza e di debolezza del servizio offerto
Donatella Poliandri

22. Quali sono le scuole premiate dal
progetto VSQ? Quelle che …
fanno maggiormente crescere la qualità degli apprendimenti:
aggiunto
Valore
in italiano in matematica
favoriscono l’inclusione degli studenti con disabilità
favoriscono l’inclusione degli studenti stranieri
Visite di osservazione
non lasciano indietro gli studenti con maggiori difficoltà
costruiscono percorsi pensati per gli studenti con ottimi risultati
orientano gli studenti a scegliere i percorsi di studio
più adatti alle loro inclinazioni
utilizzano criteri e strumenti condivisi di programmazione
e di valutazione degli studenti
sono capaci di riflettere su se stesse e di autovalutarsi per migliorare

23. Il valore aggiunto
una misura del miglioramento degli apprendimenti
Il
livello
degli
apprendimen4
degli
studen4
dipende,
oltre
che
dal
contributo
delle
scuole,
dalle
cara7eris4che
degli
allievi
e
dal
contesto
nel
quale
si
svolge
l’azione
educa4va
valore
aggiunto:
è
una
misura
di
quanto
ciascuna
scuola
aggiunge
al
livello
degli
apprendimen4
conseguito
dai
propri
allievi,
tenendo
conto
della
preparazione
pregressa
degli
studen4
in
entrata
e
delle
loro
cara7eris4che
(es.
background
socio-­‐economico-­‐culturale).
Il
valore
aggiunto
è
inoltre
calcolato
tenendo
conto
degli
effe?
(posi4vi
o
nega4vi)
del
contesto
in
cui
la
scuola
opera
i
modelli
di
valore
aggiunto
consentono
di
confrontare
le
scuole
a
parità
di
condizioni.
Infa?,
gli
esi4
delle
scuole
sono
compara4
evitando
che
queste
si
avvantaggino
-­‐
o
siano
penalizzate
-­‐
da
quanto
non
è
so7o
il
loro
dire7o
controllo
Donatella Poliandri

24. Le aree di valutazione
le azioni ‘positive’ che le scuole mettono in campo
il miglioramento dei livelli di apprendimento non esaurisce il compito della
scuola; esistono infatti altri ambiti su cui una scuola può operare e sui quali è
possibile esprimere un giudizio, a prescindere dai risultati ottenuti
la
seconda
parte
della
valutazione
(nella
prospe?va
premiale)
è
stata
affidata
a
Team
di
valutazione
invia4
presso
le
scuole
sono
sta4
considera4
rilevan4
alcuni
ambi4
che
è
possibile
esaminare
a7raverso
le
azioni
‘posi6ve’
che
ciascuna
is4tuzione
scolas4ca
intraprende,
e
che
possono
essere
giudica4
per
la
loro
qualità
in
quanto
norma6
e/o
valorialmente
condivisi
Donatella Poliandri

25. Il valore aggiunto in Italiano e Matematica
Definizione e variabili utilizzate
Livello
di
Cara>eri-­‐ Fa>ori
Contesto
VALORE
prepara-­‐
AGGIUNTO
Apprendimen6
zione
in
s6che
stru>u-­‐ territo-­‐
individuali
rali
riale
entrata
SNV 2010-11 SNV 2009-10 Fonte INVALSI Fonte MIUR, Fonte INVALSI
(Esiti individuali (Esiti individuali INVALSI
prove di I sec. di I prove di V
grado) primaria)
Cara7eris4che
individuali:
genere,
origine
immigrata,
background
socio-­‐economico-­‐
culturale,
pos4cipatario
(dalla
primaria)
Fa7ori
stru7urali:
numero
di
plessi,
Scuola
Media
o
Ist.
Comp.,
turnover
docen4,
età
media
docen4,
%
allievi
disabili
Contesto
territoriale:
%
stranieri,
background
socio-­‐economico-­‐culturale
medio,
scuola
nel
capoluogo
o
in
provincia,
altre
specificità
provinciali
(effe7o
fisso)
Tra
le
variabili
esplica4ve
non
sono
state
inserite
quelle
che
afferiscono
alle
scelte
autonome
delle
scuole.

26. Il peso di ciascun indicatore di valore aggiunto
il
peso
totale
del
miglioramento
degli
apprendimen4
nel
giudizio
complessivo
è
pari
al
60%,
così
ar4colato:
• valore
aggiunto
di
Italiano:
35%
• valore
aggiunto
di
Matema6ca:
25%
il
maggiore
peso
a>ribuito
al
valore
aggiunto
di
Italiano
si
gius4fica
poiché
esso
è
in
grado
di
cogliere,
anche
se
in
modo
indire7o,
altre
dimensioni
di
miglioramento
legate
ad
ambi6
disciplinari
differen6
a
quelli
di
osservazione
delle
prove
«cogni/ve»
INVALSI.
Ad
esempio,
la
comprensione
dei
processi
scien4fici,
a
differenza
della
matema4ca,
richiede
la
padronanza
della
lingua
italiana
Donatella Poliandri

27. Le aree e gli ambiti della valutazione
Giudizio
Inclusione studenti con disabilità di Team
Inclusione
Giudizio
Inclusione studenti stranieri di Team
Giudizio
Recupero Recupero di Team
e
potenziamento Giudizio
Potenziamento di Team Indice
sintetico
Giudizio
Orientamento Orientamento di Team
Valutazione interna / Giudizio
di Team
autovalutazione
Valutazione
Programmazione e valutazione Giudizio
di Team
degli studenti
Donatella Poliandri

28. La Rubrica di valutazione
gli elementi che la compongono
Lo
strumento
u4lizzato
per
la
valutazione
delle
azioni
posi4ve
della
scuola
per
ognuno
dei
se7e
ambi4
considera4
è
la
Rubrica
di
valutazione,
cara7erizzata
da:
criteri
di
qualità
defini4
a7raverso
proposizioni
per
ciascun
criterio
di
qualità
si
predispongono
delle
scale
di
valutazione
a
qua7ro
livelli:
INDADEGUATO,
ACCETTABILE,
BUONO,
ECCELLENTE
ogni
livello
è
descri7o
in
modo
anali4co
in
relazione
al
criterio
di
qualità
corrispondente
la
descrizione
del
livello
con4ene
gli
elemen4
o
le
evidenze
empiriche
da
prendere
in
considerazione
prima
di
esprimere
un
giudizio,
e
una
check
list
di
passi
da
compiere,
da
u4lizzare
come
‘guida
al
giudizio’
Donatella Poliandri

29. Le visite di osservazione
i Team
Le
visite
di
osservazione
per
la
compilazione
delle
Rubriche
di
valutazione
sono
state
condo7e
da
16
Team,
ciascuno
dei
quali
ha
osservato
in
media
4
scuole.
Ciascun
Team
era
composto
da
3
componen6,
ognuno
dei
quali
aveva
specifici
compi4
da
svolgere.
Donatella Poliandri

30. Le visite di osservazione
articolazione dell’intervento

31. I giudizi di Team, l’Indice sintetico e il peso attribuito
espressione del giudizio di Team per ogni Rubrica di valutazione
scala:
1 – inadeguato 2 – accettabile 3 – buono 4 – eccellente
calcolo dell’Indice sintetico per ogni scuola (pari alla media dei giudizi)
n.b. per alcune scuole non è stato possibile esprimere il giudizio relativo all’inclusione
degli studenti stranieri, in quanto non presenti nella scuola per l’a.s. considerato.
In tal caso la media è stata calcolata su 6 giudizi, e non su 7
attribuzione all’Indice sintetico del peso relativo del 40% per il calcolo
della media ponderata
Donatella Poliandri

32. Punteggi sugli apprendimenti e giudizi di Team
confluiscono in un unico valore finale
Calcolo del Giudizio finale  unione delle informazioni relative a:
a) apprendimenti di italiano (peso relativo del 35% sul Giudizio finale)
b) apprendimenti di matematica (peso relativo del 25% sul Giudizio finale)
c) indice sintetico dei giudizi di Team (peso relativo del 40% sul Giudizio finale)
Ambi4:
Apprendimen6
Giudizi
Team
I
II
III
IV
Items:
Ita
Mate
Integraz Integraz Autoval.
Valutaz.
Potenz.
Recup.
Orient.
Media
Giudizio
.Disabili
.
studen/
G.T.
finale
Stranieri
Prov.
Peso:
35%
25%
40%
100%
Scuola
X
4
4
4
4
3
4
3
4
3
3,57
3,83
Scuola
Y
4
4
4
3
3
4
3
3
3
3,29
3,71
Donatella Poliandri

33. I punteggi sugli apprendimenti e i giudizi di Team
sono tra loro ortogonali
l’idea
teorica
di
due
ambi4
(valore
aggiunto,
visite
di
osservazione)
che
guardino
ad
aspeV
differen6
della
qualità
del
processo
educa4vo
è
validata
dall’analisi
empirica
la
correlazione
tra
i
punteggi
del
valore
aggiunto
e
i
giudizi
dei
Team
è
posi6va
ma
bassa:
10-­‐16%
il
segno
posi4vo
della
correlazione
ci
dice
che
i
due
ambi4
non
sono
tra
loro
an6te6ci.
Il
valore
basso
della
correlazione
ci
dice
che
i
due
ambi4
sono
tra
loro
complementari
e
capaci
di
rendere
una
valutazione
complessiva
della
qualità
della
scuola
Donatella Poliandri

34. Il rapporto di valutazione
 Il Rapporto di valutazione del progetto VSQ
presenta il giudizio finale ottenuto dalla scuola e,
suddivise in sette aree tematiche, tutte quelle
informazioni che sono state ritenute rilevanti per
la diagnosi della scuola volta al miglioramento.
 In ciascuna area tematica è presente una parte
iniziale comune a tutti i rapporti che ne introduce
i contenuti, seguita da quella specifica per la
scuola osservata.
Donatella Poliandri

35. Le fonti dei dati
Servizio Statistico MIUR – INVALSI – Rapporto dal
Dati di sintesi dell’istituzione Questionario scuola
scolastica
Università di Roma “Sapienza” – INVALSI - Rubriche di
Analisi del contesto scolastico valutazione :
INVALSI - Il valore aggiunto
Donatella Poliandri

36. VALES
(Valutazione e Sviluppo Scuola)

37. Impianto complessivo
Il progetto partirà con l’a.s. 2012-13.
Il primo anno sarà dedicato a una valutazione
diagnostica complessiva sulla singola scuola e
all’identificazione del ruolo e del contributo del
DS.
La valutazione complessiva servirà a supportare
la definizione di un piano di iniziative di
miglioramento per la scuola e di impegni
contrattuali da siglare tra USR e singolo DS.
Donatella Poliandri

38. Problematiche aperte e spunti di riflessione
 È possibile estendere l’esperienza di valutazione esterna a un
numero più ampio di scuole?
 Ipotesi di applicazione del modello di valutazione a livello
nazionale (ad es. su campioni ruotati)
 Necessità di ulteriore formazione di figure professionali qualificate:
 osservatori – valutazione esterna
 esperti per il miglioramento
38

39. Piano operativo
Autovalutazione
(settembre 2012-gennaio 2013)
Piano operativo:
I annualità
Visite valutative
(febbraio – aprile 2013)
Prove SNV
(maggio 2013)
Definizione degli interventi
Triangolazione Team val. – scuola- USR
(giugno - agosto 2013)
Donatella Poliandri

40. Segue - Piano operativo
Interventi differenziati
Piano operativo:
II e III annualità
Monitoraggio
Valutazione finale
Donatella Poliandri

41. Grazie per l’attenzione
Per contatti: valutazionescuole@invalsi.it