1. Valutazione
scolas.ca
interna
ed
esterna,
l’esperienza
olandese
Jaap
Scheerens
J.Scheerens@utwente.nl
Presenta.on
at
Palermo
4
maggio,
2012

2. CONTENUTI
• Valutazione
delle
scuole
nei
Paesi
Bassi
• Valutazione
interna
ed
esterna
delle
scuole,
definizioni
• La
rendicontazione
esterna
e
la
sua
efficacia
• Esperienze
internazionali
di
autovalutazioni
scolas.che;
meta
analisi
• ProspeNve
future

3. Istruzione obbligatoria

4. IL
SISTEMA
DI
VALUTAZIONE
DELLE
SCUOLE
NEI
PAESI
BASSI
• A
livello
degli
alunni:
esami
scuole
secondarie,
test
a
conclusione
della
scuola
primaria,
sistemi
di
monitoraggio
alunni
scuole
primarie
e
secondarie.
• A
livello
della
scuola:
ispezioni,
autovalutazione
della
scuola,
“Finestre
per
la
rendicontazione
pubblica”
• A
livello
di
sistema
scolas.co:
accertamento
nazionale
periodico,
studi
diacroniche
delle
“coorte”,
sta.s.che
e
indicatori
di
istruzione,
accertamen.
internazionali,
report
annuale
dell’IspeYorato.

5. LA
VALUTAZIONE
SCOLASTICA
NEI
PAESI
BASSI
• Le
scuole
sono
responsabili
della
propria
qualità,
sono
obbligate
a
formulare
un
piano
scolas.co
annuale,
l’autovalutazione
delle
scuole
è
stata
fortemente
sollecitata
nei
primi
5
anni
del
2000.
• Di
recente
le
scuole
sono
state
esternamente
supportate
nella
loro
“rendicontazione
orrizzontale”
da
una
unità
del
Ministero
e
da
“Organiza.ons
of
school
governors”.
• L’IspeYorato
fa
delle
ispezioni
nelle
scuole
basate
su
specifiche
linee
di
controllo,
aspeN
e
indicatori
di
qualità.

6. Ispezioni
seleNve
• Controllo
seleNvo
della
scuola:
non
tuYe
le
scuole
sono
controllate
con
lo
stesso
grado
di
frequenza
e
intensità.
• Ispezione
“proporzional“
al
livello
dell’aYenzione
dei
processi
della
qualità
interna
(quando
in
ordine:
minore
frequenza).
Questo
.po
di
approccio
è
stato
interroYo.
• ”Ispezioni
focalizzate
sui
rischi":
screening
generale
sui
risulta.,
se
le
scuole
sono
molto
deboli,
le
ispezioni
sono
frequen.
ed
in
profondità.

7. Windows
for
Accountability
(Finestra
per
la
rendicontazione)
• Il
falimento
dell’ispezione
proporzionale
sull’autovalutazione
e
la
creazione
delle
“Finestre
di
Rendicontabilita”,
segnalano,
tuYe
e
due,
una
certa
delusione
sulla
ges.one
autonoma
della
valutazione
interna.
• Nelle
“Finestre”
le
scuole
oYengono
da.
e
indicatori
di
base
per
la
loro
scuola
dal
“DUO”,
l’unità
da.
del
Ministero
dell’Istruzione,
insieme
ad
altri
da.
richies.
da
agenzie
di
consulenza
pagate
dalle
organizzazioni
dei
governatori
della
scuola.

8. Definizione della valutazione esterna e interna
Attività chiave della Valutazione Valutazione
valutazione esterna interna
Avviare la valutazione Agenti esterni Agenti interni
e affidarne
l’esecuzione
Processi tecnici Agenti esterni Agenti interni
Agenti esterni
Dare informazioni Agenti interni Agenti interni
Uso e applicazione Agenti esterni Agenti interni
dei risultati Agenti interni

9. Valutare per Gestire la Scuola
• Governance, Leadership e Qualita
Educativa
• A cura di:
• Jaap Scheerens, Silvana Mosca e
Raimondo Bolletta
• http://www.brunomondadori.com/
• Capitolo 4.

11. 2 Contesti di applicazione
• Rendicontazione
• Apprendimento organizzativo

12. Definizione di
rendicontazione
In termini generali, la rendicontazione si
riferisce alla responsabilità che le istituzioni
e i servizi pubblici hanno della qualità e
svolgimento delle loro prestazioni. Secondo
Glass (1972) la rendicontazione include
alcuni livelli debolmente interconnessi: la
trasparenza riguardo ai prodotti e servizi
che vengono forniti; il testing del prodotto o
della prestazione e la correzione di una
prestazione insoddisfacente.

13. “Tipi di rendicontazione”
• Controllo amministrativo (ricompense e
sanzioni finanziarie)
• Prospettiva del cliente (i clienti
dell’educazione votano rimanendo o
andandosene dalla scuola)
• La prospettiva professionale (Elmore et al.
1990) manca dell’elemento di “correzione” e
si avvicina all’apprendimento organizzativo

14. Due tipi principali di impatto
• Solo informativo, ad esempio classifiche,
schede di valutazione
• Che implica conseguenze ad alto rischio,
quando ci sono chiari incentivi o sanzioni

15. Due forme principali
• Rendicontazione basata sui test (Carnoy
et al. 2003)
• Ispezioni scolastiche (De Wolf e Janssens,
2006)

16. I sistemi di rendicontazione
influiscono sui risultati degli
studenti?

17. Hanushek and Raymond,2005
• I sistemi di rendicontazione che implicano
delle conseguenze hanno un significativo
impatto positivo sulla prestazione media.
(0,22 sd)
• La differenza di successo fra gruppi etnici
è aumentata quando sono stati messi in
atto dei sistemi di rendicontazione.
• L’impatto del comportamento strategico
delle scuole è sopravvalutato.

18. Jacob, 2005
• Notevole aumento dei punteggi nei test
(matematica e lettura) nelle scuole di
Chicago dopo l’introduzione di un sistema
di rendicontazione (.20 - .31 sd)
• Il miglioramento nei risultati dei test
potrebbe essere attribuito:
- ad abilità specifiche rispetto ai test
- all’impegno degli studenti
- a un comportamento strategico (ripetizione di
classi, sistemazione in classi speciali)

19. Risultati chiave dello studio di
Carnoy et al. (2003)
• Fra 4 stati, lo stato (Texas) nel quale il
testing era ad alto rischio per le scuole e
gli studenti, è quello che ha registrato il
maggior miglioramento nei risultati degli
studenti (cf Rand News Release, July 25,
2000)
• La rendicontazione esterna funziona
meglio per le scuole nelle quali viene già
attuata una “rendicontazione interna"

20. Definizione di apprendimento
organizzativo
• Miglioramento scolastico stimolato dall’uso
dei dati e dal feedback sulla performance
• Ideale della scuola come organizzazione
che apprende
• Miglioramento sostenuto dei processi
primari (insegnamento e apprendimento) e
secondari (processi organizzativi)

21. TIPI DI AUTOVALUTAZIONE
• GRIGLIE: Stiamo facendo bene? Come
potremmo fare meglio? Opinioni
• Sistemi di informazione del Management
Scolastico; procedure amministrative
• Sistemi di monitoraggio degli alunni; dati
ricavati dai test, punteggi
• Set integrato di strumenti: test,
questionari, osservazioni

22. Effetti dell’autovalutazione della
scuola
a) Esperienze di auto-valutazione
b) Risultati dalla ricerca sull’efficacia
della scuola

23. VALUTAZIONE DELL’AUTOVALUTAZIONE DELLA
SCUOLA
NEI PAESI BASSI DA PARTE DELL’ISPETTRORATO
• Lento miglioramento in un certo numero di scuole che,
secondo l’ispettorato, tengono in buon conto la cura della
qualità:
• Nel 2003, per es., il 13% delle scuole primarie avevano un
sistema di cura della qualità che soddisfaceva l’intero set di
indicatori sulla cura della qualità. Il 26% delle scuole hanno
soddisfatto i requisiti minimi per assicurarsi la qualità (Fonte,
Hendriks, 2005). Nel 2010 poco più del 50% di tutte le
scuole primarie e secondarie hanno soddisfatto tutti gli
indicatori . Questo è un chiaro miglioramento ma ancora
lontano dallo standard dell’80%, da raggiungere nel 2012,
come indicato nei Piani Azione Qualità del Ministero
dell’Istruzione.

24. RISULTATI
DEGLI
STUDI
SULLA
VALUTAZIONE
• Kim
Schildkamp,
evalua.on
of
ZEBO,
2007
• Blok
et
al.,
2011

25. Risultati del monitoraggio
di meta-analisi
Scheerens and Bosker, 1997 .15 N= 38
Witziers, Scheerens and Steen, .09 N= 41
2006
Scheerens and Steen, 2006 .06 N= 67
(monitoraggio a livello di classe)

27. Studio di Kim Schildkamp
• Soltanto una minoranza delle scuole (10%)
ha usato i risultati dell’autovalutazione in
modo intensivo
• Nel tempo (2003 -2006) c’è stato un
incremento statisticamente significativo nel
punteggio degli insegnanti nell’uso
strumentale di ZEBO
• I dirigenti scolastici hanno usato i risultati
più degli insegnanti
• Nessun effetto sui risultati degli studenti

28. Studio di Blok et al., 2011
• Blok, Sleegers e Karsten, 2008. Sulla base di
uno studio in 27 scuole primarie olandesi,
sostengono che i loro risultati dimostrano che
le autovalutazioni delle scuole sono state
spesso di bassissima qualità.
• Secondo questi autori l’autovalutazione è un
compito molto difficile per la maggior parte
delle scuole.
• Raccomandano, quindi, supporto esterno per
un lungo periodo di tempo al fine di migliorare
questo stato di cose.

29. Studio di Visscher and Ehren, 2011
• “Scarsa utilizzazione dei sistemi del
monitoraggio degli alunni”
• Le scuole fanno uso limitato dei sistemi di
analisi disponibili; le analisi diacroniche
non vengono effettuate di frequente.
• “Imperfezioni nell’immagazzinamento e nel
recupero dei dati dei test; cosicché, p.es.,
talvolta è impossibile recuperare una
visione di insieme degli items in cui gli
alunni hanno fallito

30. • Errori nell’interpretare i risultati LVS, per cui può
succedere che gruppi che avrebbero bisogno di
speciale attenzione non vengono notati.
• I risultati LVS, sono utilizzati maggiormente per
la rendicontazione all’esterno nei confronti dei
genitori e dell’Ispettorato, che rispetto ad un uso
mirato al recupero di tutti gli studenti, non
soltanto di quelli con performances
estremamente basse.
• Le scuole spesso hanno poco tempo per
discutere i risultati LVS nel gruppo staff,
figuriamoci per la definizione di misure volte a
migliorare performance.

31. Conclusioni valutazione/feedback
• L’implementazione di un’autovalutazione
dal basso verso l’alto è un processo lento,
pochi studi riferiscono (piccoli effetti) sui
risultati.
• Impatto del monitoraggio sui risultati a
livello della scuola: meta-analisi mostrano
un effetto scarso o molto scarso sul
risultato.

32. Riepilogo: a che punto siamo?
• Opinione diverse verso la valutazione esterna
della scuola orientato sulla rendicontazione;
influenza positiva sui risultati delle scuole.
• Eccetto alcuni casi di successo, emerge una
generale delusione della commissione per i
risultati sulla auto valutazione
• Rimangono due domande:
a) la valutazione esterna potrebbe stimolare
la valutazione interna?
b) come potrebbe essere migliorata
l’autovalutazione interna delle scuole?

33. La rendicontazione interna
come ponte fra la valutazione
interna e esterna
della scuola

34. Rendicontazione interna
• La varietà di modi, formali o informali, con
i quali le persone della scuola danno conto
delle proprie azioni a qualcuno in una
posizione di autorità formale all’interno o
all’esterno della scuola.
• Aumento in tutta la scuola della coerenza
e dell’accordo sulle aspettative rispetto ai
risultati degli studenti e alle pratiche
didattiche.

35. Rendicontazione interna (cont’d)
• Visioni più condivise e coerenti rispetto ai
risultati che si attendono dagli studenti.
• Meccanismi interni che traducono questo
accordo in azioni: pratica didattica,
processi di supervisione e di controllo,
meccanismi che focalizzano le risorse sui
contenuti e sugli alunni che necessitano
lavoro supplementare.

36. Scuole con un’alta
rendicontazione interna:
Corrispondono a concetti come :
• Scuole efficaci (Edmonds)
• Scuole “semi” (Slavin)
• Scuole con un alto potenziale valutativo
(Scheerens)
• Scuole con un alto livello di coerenza,
coesione e consenso (Creemers)

37. RISPOSTA ALLA DOMANDA a)
• La valutazione esterna può motivare le scuole a
mirare maggiormente al raggiungimento di
risultati e ad usare la valutazione interna come
un’importante strategia per determinare il
conseguimento di risultati.
• Le procedure per la valutazione esterna
possono essere utilizzate come esempi o linee
guida per strumenti di valutazione interna;
talvolta si possono usare gli stessi strumenti per
la valutazione sia interna che esterna.

38. MODALITA’ PIU’ INTRINSECHE AFFINCHE’
L’AUTOVALUTAZIONE
DELLA SCUOLA ABBIA PIU’ SUCCESSO; DOMANDA
b)
• Concentrarsi sul microlivello
• Dati guida, approccio basato su test
• Valore aggiunto dei dati, cambio dei punteggi
• Supporto didattico da parte di esperti, o metodi
esperti (conoscenza degli approcci pedagogici)
• Consultazione collegiale mirata all’analisi
didattica, al feedback sull’insegnamento
• Supporto dell’organizzazione e del management

39. Conclusioni
• Nelle culture dove sono possibili degli approcci
di rendicontazione ad alto rischio, la
rendicontazione stimola il miglioramento
attraverso un maggiore orientamento ai risultati.
• L’implementazione dell’autovalutazione della
scuola dal basso è una strategia debole per
migliorare il rendimento degli studenti
(probabilmente più forte se inquadrata in una
Riforma Complessiva della Scuola)
• Una combinazione di rendicontazione ad alto
rischio e di incentivo all’autovalutazione
potrebbe dare buoni risultati