Workshop sull’impresa sociale 2014 18-19 settembre 2014, Riva del Garda (TN) Stefano Cima (Fondazione Cariplo) “La valutazione di impatto nelle fondazioni bancarie”

1. La valutazione di impatto nelle fondazioni bancarie
Gian Paolo Barbetta – Stefano Cima – Paolo Canino
Fondazione Cariplo
WORKSHOP IRIS Network sull'impresa sociale “Ridisegnare i servizi per aumentare l’impatto
Riva del Garda 17-18 settembre 2014

2. Valutazione: un solo termine, molti significati
Diciamo che FACCIAMO VALUTAZIONE per:
1)SELEZIONARE (i soggetti o i progetti migliori … rating)
2)RENDICONTARE (le attività svolte … accountability)
3)FORMARCI UN GIUDIZIO INFORMATO (su ciò che è stato fatto … assessment)
-dei clienti (customer satisfaction)
-degli attuatori (community of practice)
-altro?
4)RIFLETTERE CRITICAMENTE PER MIGLIORARE (una attività … implementation analysis o formative evaluation)
5)INDIVIDUARE LE CONSEGUENZE (gli effetti o l’impatto) (di un’azione … impact evaluation)
6)STIMARE IL COSTO-EFFICACIA (o costo-beneficio) (di un intervento … cost-effectiveness, cost-benefit)
7)VANTARCI (di quanto si è bravi …. com’è che non trovo la traduzione?)
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
2

3. Valutazione: figli e figliastri?
Tutti i diversi significati sono perfettamente legittimi …
… ma forse conviene DISTINGUERE I TERMINI, ad esempio chiamando: SELEZIONE (la n. 1) e
RENDICONTAZIONE (la n. 2).
NON sono VALUTAZIONE.
Le attività 3) - 6) hanno invece una FINALITÀ VALUTATIVA:
CONOSCERE MEGLIO CIÒ CHE È ACCADUTO (O STA ACCADENDO) COME CONSEGUENZA DI UN’ATTIVITA’ SVOLTA.
Pongono però l’accento su diversi OBIETTIVI SPECIFICI:
-capire che cosa pensano i protagonisti dell’attività (la n. 3)
-capire se si possa migliorare l’attuazione dell’attività (la n. 4)
-capire quale impatto abbia avuto l’attività (la n. 5)
-capire a che prezzo sia ottenuto l’(eventuale) impatto (la n. 6)
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
3

4. Valutazione per le fondazioni di erogazione
I DIVERSI OBIETTIVI SPECIFICI della valutazione sono perfettamente legittimi.
Tuttavia, per capire che OBIETTIVO VALUTATIVO assumere, diventa rilevante capire CHE COSA DEBBA FARE una Fondazione di erogazione
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
4

5. Valutazione per le fondazioni di erogazione
1.Fondazioni che RISOLVONO PROBLEMI (dunque “complementari” o “sostitutive” dell’ente pubblico o privato-sociale):
un ruolo difficile da svolgere, a meno di grandissima selettività (ci occupiamo solo di ...)
2. Fondazioni che MOSTRANO COME I PROBLEMI SI POTREBBERO RISOLVERE (“sostegno della innovazione, sviluppo conoscenza”):
è l’unico ruolo che ci pare possibile.
Significa:
a) scoprire e rappresentare bisogni (vecchi e nuovi) (advocacy)
b)escogitare nuove soluzioni (scouting) …
c)determinarne l’efficacia (sperimentatore) e, infine
d)determinarne la cost-effectiveness rispetto alle pratiche correnti (stesso risultato con minore costo, risultato migliore a parità di costo)
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
5

6. Come sviluppare conoscenza? 1
Per sostenere l’innovazione, è cruciale lo SVILUPPO DI CONOSCENZA SULL’EFFETTO E I COSTI DELLE AZIONI INTRAPRESE
La produzione di conoscenza sugli effetti e sui costi degli interventi è un processo sofisticato.
Condizione necessaria è – prima di avviare gli interventi – rispondere alle domande:
1)Gli effetti e i costi “SU CHE COSA”? (identificazione dell’OBIETTIVO DEL CAMBIAMENTO)
2)Gli effetti e i costi “DI CHE COSA”? (identificazione del MECCANISMO che potrebbe generare il cambiamento)
3)Gli effetti e i costi “SU CHI”? (identificazione dei SOGGETTI su cui si verifica il cambiamento)
MEGLIO INTERVENTI SEMPLICI
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
6

7. Come sviluppare conoscenza? 2
Definire bene i progetti!!
servono:
a)analisi dettagliate prima di avviare (o sostenere) gli interventi per sviluppare conoscenza preliminare (Quali sono i fattori che causano il fenomeno su cui vogliamo intervenire? Su quali è possibile agire? Con che strumenti? Ecc.)
b)La costruzione di un QUADRO LOGICO degli interventi che si intendono sostenere
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
7

8. Come sviluppare conoscenza? 3
Poi – PER MISURARE L’IMPATTO - bisogna disegnare interventi che consentano di farlo.
Spesso si ragiona con INDICATORI, misurandoli PRIMA e DOPO l’intervento … IMPATTO = DOPO - PRIMA
Di solito E’ SBAGLIATO perché:
1)I processi spontanei influenzano le variabili obiettivo
2)Raramente le persone su cui agiamo sono un campione significativo dell’universo
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
8

9. Come sviluppare conoscenza? 4
PER MISURARE L’IMPATTO – bisogna ADOTTARE una
LOGICA CONTROFATTUALE.
L’impatto NON È la differenza tra dopo e prima (o tra destinatari e non destinatari di) un intervento …
… ma
la differenza tra
ciò che succede dopo l’intervento (fattuale)
e ciò che sarebbe successo senza l’intervento (controfattuale)
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
9

10. Rischi nel non utilizzare la logica controfattuale
1)Dinamica spontanea
2)Differenze nelle condizioni di partenza e self-selection
10

11. Primo esempio: dinamica spontanea1
Intervento: incentivi per la stabilizzazione dei precari
•5.000 euro alle imprese che assumono a tempo indeterminato un proprio dipendente a tempo determinato o co.co.pro.
•Gli incentivi vanno a ruba: in una settimana, 2.000 incentivi assegnati. Quindi 2.000 precari stabilizzati.
•L’assessore dice: “Grazie agli incentivi, ci sono 2.000 precari in meno” ma …
11

12. Primo esempio 2
•I dati dicono soltanto che l’EFFETTO degli incentivi può essere qualunque valore tra zero (se sarebbero stati TUTTI assunti anche senza incentivi) e 2.000 (se NESSUNO sarebbe stato assunto senza incentivi).
•I dati a disposizione non consentono di dire quanti sarebbero gli assunti senza incentivi (il controfattuale), ma dire che nessuno sarebbe assunto è una ipotesi forte.
•Il fenomeno ha infatti una sua dinamica spontanea.
12

13. Secondo esempio: self-selection1
Intervento: sostegno nella ricerca di lavoro
•I disoccupati che si iscrivono al Centro per l’impiego (CPI) ricevono il sostegno (formazione)
L’iscrizione ai CPI è volontaria
•I 200 iscritti del 2013 trovano lavoro più rapidamente, quattro mesi prima in media, dei non-iscritti
•Il solito assessore: “la nostra politica riduce di quattro mesi il periodo di disoccupazione”, ma …
13

14. Secondo esempio 2
•I dati non dicono nulla, perché non siamo sicuri che le condizioni di partenza degli iscritti e dei non-iscritti siano identiche
•Se, rispetto ai non iscritti, gli iscritti fossero in percentuale maggiore uomini, più giovani e con più alta istruzione, potremmo ancora dire – con l’assessore – che la riduzione del periodo di disoccupazione avviene grazie all’azione di sostegno?
•Oppure dipende anche da genere, età, istruzione e altro?
14

15. La logica controfattuale
Questi ERRORI si possono EVITARE adottando la logica dei risultati potenziali, secondo cui:
l’EFFETTO di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza (il controfattuale).
Il «problema fondamentale dell’inferenza causale» Holland (1986): l’osservabilità di uno soltanto dei risultati potenziali su un generico soggetto a fronte di un intervento
Come ovviare al problema?
15

16. TRE SOLUZIONI POSSIBILI
16

17. Soluzione 1:
17

18. Soluzione 2: ESPERIMENTO RANDOMIZZATO CONTROLLATO 1
•E’ la tecnica è tipicamente adottata negli studi clinici.
•Un insieme di pazienti affetti da una patologia viene suddiviso in due gruppi mediante sorteggio: a un gruppo (‘sperimentale’) viene somministrato il nuovo farmaco del quale si vuole saggiare l’effetto; all’altro (di ‘controllo’) non si somministra nulla (placebo)
•Se la selezione è randomizzata (casuale), le differenze di partenza tra i due gruppi risultano nulle (sia sulle observable che sulle non-observable)
18

19. L’esperimento randomizzato 2
•L’effetto MEDIO dell’intervento è stimato con la differenza tra i risultati medi ottenuti dai trattati e dai non-trattati
•Difficoltà nel realizzare esperimenti per ragioni giuridiche, etiche e pratiche:
La partecipazione all’esperimento non può essere imposta
Se ci attendiamo che l’intervento abbia effetti positivi, in nome di che cosa escludiamo qualcuno dal beneficiarne?
Mancanza di consenso (degli operatori, dell’opinione pubblica)
Difficoltà pratica di mantenerne l’integrità.
19

20. Soluzione 3: ricostruire il controfattuale in contesti non sperimentali
L’idea-guida: comparare soggetti comparabili, cioè a dire comparare ai trattati i non-trattati (resi) equivalenti, salvo il fatto che sono non- trattati.
Quattro metodi, in relazione alle caratteristiche del processo di selezione e all’informazione disponibile:
•Selezione nelle variabili osservabili: Abbinamento;
•Soglia di ammissibilità: Regression Discontinuity Design;
•Dinamica “parallela”: Difference-in-Differences;
•“Esperimento naturale”: Variabili strumentali.
20

21. Abbinamento applicato a un corso di formazione dei disoccupati per il rientro nel lavoro
21
Si ringrazia il prof. Ugo Trivellato per l’esempio e il grafico

22. Regression Discontinuity Design applicato a un corso di formazione con ammissione dei migliori
22
Si ringrazia il prof. Ugo Trivellato per l’esempio e il grafico

23. La Diff-in-Diffs applicata a una politica di recupero urbano
23
Si ringrazia il prof. Ugo Trivellato per l’esempio e il grafico

24. La valutazione controfattuale in Fondazione Cariplo: il caso di Lavoro & Psiche
24
Si ringrazia il prof. Alberto Martini per le diapositive sul caso Lavoro e Psiche

25. Lavoro&Psiche
IL PROBLEMA
Le persone con disturbi psichiatrici sono in aumento.
In Regione Lombardia sono oltre 130.000 (circa il 25% soffre di disturbi gravi) e presentano difficoltà di accesso e tenuta nel mercato del lavoro.
L’OBIETTIVO
Testare la fattibilità e l’efficacia di un modello innovativo di integrazione lavorativa per pazienti psichiatrici gravi (schizofrenico, schizoide, paranoide, borderline e disturbo bipolare).
25

26. 1. Caratterizzato dalla presenza di un “Coach” professionista che:
sulla base di un progetto condiviso con i curanti ha preso in carico per almeno due anni circa 10 pazienti psichiatrici;
li ha accompagnati nelle rete dei servizi sociali, assistenziali e di inserimento lavorativo con un approccio personalizzato e multidimensionale;
ha attivato strumenti e servizi funzionali a facilitarne l’ingresso e la tenuta nel mercato del lavoro e il miglioramento delle condizioni di benessere.
2. Prevede il coinvolgimento della rete territoriale di soggetti (paziente, servizi psichiatrici, servizi sociali e lavorativi, comparto produttivo) che intervengono in più fasi del percorso di reinserimento del paziente in un contesto aziendale.
Il modello di intervento
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
26

27. DURATA:
2008-2009: progettazione partecipata delle linee guida dell’intervento e la selezione di 4 OCSM delle Regione Lombardia;
2009-2012: sperimentazione triennale dei progetti pilota (OCSM e Coach);
2013-2014: diffusione dei risultati e del modello sperimentato (comunità scientifica e Regione Lombardia).
PARTNER:
Progettazione: Direzioni Regionali Salute, Famiglia e Lavoro, Confcooperative, Urasam, Assolombarda, Ala Sacco, Asvapp
Realizzazione: Ala Sacco, Tavoli Tecnici degli OCSM di Bergamo, Como, Milano 1 e Sondrio
Valutazione: Asvapp, Irs
La durata e i partner
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
27

28. I destinatari dell’intervento sono stati pazienti psichiatrici in trattamento nei Centri Psico-sociali (CPS) operanti nel territorio degli OCSM selezionati con i seguenti criteri:
1. Diagnosi di disturbo psichico grave: schizofrenia e disturbi correlati, disturbo bipolare e disturbi di personalità gravi (ICD 10: F20, F31, F60.3, F60.1, F60.0) e avere manifestato almeno una volta sintomatologia psicotica;
2. Età compresa tra i 18 e i 50 anni;
3. Rapporto stabile e continuativo con il Servizio Psichiatrico;
4. Compenso psichico da almeno sei mesi e buona compliance alle cure;
5. Nessuna occupazione o tirocinio nei tre mesi precedenti l’avvio del progetto;
6. Motivazione e attitudine ad avviare un percorso di integrazione lavorativa.
I destinatari
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
28

29. I destinatari
ASL
Arruolati
Controlli
Sperimentali
Bergamo
83
41
42
Como
80
39
41
Milano
84
42
42
Sondrio
64
32
32
Totale
313
154
157
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
29

30. Gli effetti
17/09/2014 Osservatorio e Valutazione dell'Attività
Erogativa
30

31. Gli effetti
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
31

32. Gli effetti
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
32

33. Che cosa si impara? I tirocini 1
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
33

34. Che cosa si impara? I tirocini 2
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
34

35. Che cosa si impara? I tirocini 3
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
35

36. Che cosa si impara? Il lavoro 1
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
36

37. Che cosa si impara? Il lavoro 2
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
37

38. Che cosa si impara? Il lavoro 3
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
38

39. TIROCINI
•I coach hanno una certa capacità di attivare tirocini
•Cessato l’intervento, i tirocini dei pazienti crollano
•C’è stato un fenomeno imitativo tra chi si occupa dei controlli (contaminazione, una brutta bestia, esito di un «errore» di impostazione dell’esperimento)
LAVORO
•I coach contano meno nell’attivare al lavoro … o forse c’è un periodo di attivazione più lungo
•Il periodo di crisi influenza negativamente (anche i controlli!!!)
Che cosa è successo?
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
39

40. NO
•Sapere che un intervento non funziona è utile almeno tanto quanto sapere che funziona
•Abbiamo appreso molte cose che non avremmo imparato senza sperimentazione
•Siamo in grado di fornire conoscenza ai decisori, pubblici o privati
E‘ stato inutile?
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
40

41. SCEGLIETE VOI SE ESSERE TRA QUELLI CHE PRESUMONO O TRA QUELLI CHE PROVANO
Grazie
17/09/2014
Osservatorio e Valutazione dell'Attività Erogativa
41