Comment evaluer des interventions complexes

1. COMMENT ÉVALUER DES
INTERVENTIONS
COMPLEXES
ASTRID BROUSSELLE, PH.D.
CHAIRE DE RECHERCHE DU CANADA SUR L’ÉVALUATION ET L’AMÉLIORATION DU
SYSTÈME DE SANTÉ (CRC-EASY.CA)
PROFESSEUR RÉGULIER, DÉPARTEMENT DES SCIENCES DE LA SANTÉ
COMMUNAUTAIRE
TITULAIRE DE RECHERCHE, CENTRE DE RECHERCHE DE L’HÔPITAL CHARLES-
LEMOYNE
UNIVERSITÉ DE SHERBROOKE
TORONTO, 2015, SYMPOSIUM SUR LA SCIENCE PROGRAMMATIQUE

2. QU’EST-CE QUE
L’ÉVALUATION?
- Déterminer le mérite, la valeur et l’utilité (jugement, divers
critères)
- d’une intervention ou de ses composantes (ressources,
processus, résultats).
- Examen systématique
- Objectif : améliorer l’intervention, mieux-être social,
responsabilisation/reddition de comptes, ordre du jour
social, action
Merriam-Webster : « Porter un jugement
sur la valeur ou la situation (d’une
personne ou chose) de manière minutieuse
et réfléchie. » [trad.]

3. Évaluation normative Recherche évaluative
Examen des
résultats
Examen du
processus
Analyse stratégique
Analyse des effets
Évaluation économique
Analyse de la production
Analyse de la mise
en œuvre
Analyse logique
PLUSIEURS QUESTIONS
Examen de la
structure
Le problème
Objectifs
Activités/service
s
Ressources
Effets
Contexte

4. NOMBREUX
MODÈLES

5. DE SHADISH, COOK
ET LEVITON (1991)
Pratique
Valeurs
ConnaissancesUtilisation
Programmes sociaux Problème

6. Pawson &
Tilley
Source: Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing Theorists’
Views and Influences. Thousand Oaks, CA: SAGE, 12–65. ADAPTED from Shadish Cook and Leviton (1991)

7. Le paradis de
l’utilisation
La sphère
du
lobbying
Le
marécage
conditionné
par le savoir
LES MODÈLES D’ÉVALUATION
ET LEUR USAGE
CONTANDRIOPOULOS, D., BROUSSELLE, A. (2012) “Evaluation models and evaluation use?” Evaluation: The International Journal of
Theory Research and Practice, vol. 18: 61-77.

8. INTERVENTION COMPLEXE
Des interventions complexes sont caractérisées par :
• Incertitude, imprévisibilité
• Interdépendance entre un grand nombre d’acteurs
• Acteurs qui s’adaptent et évoluent
• Résultats émergents créés par les connexions ou relations
au sein du système
• Non-linéarité entre les intrants et les extrants
(Shiell, Hawe, & Gold, 2008, cité dans Zimmerman et al. 2012 )

9. L’ANALYSE
D’INTERVENTIONS
COMPLEXES
Piège de la réduction
/ piège de la complexité
Accepter la complexité :
• Accepter les paradoxes (pas les contradictions)
et composer avec eux
• Analyser les relations, les « éléments d’intermédiaire »
• Accepter l’incertitude
• Utiliser des perspectives multiples
(Zimmerman et al. 2012 )
Affirmation qui
semble se
contredire, ou
paraît simpliste,
mais qui peut
inclure une vérité
latente.

10. LES RÉPONSES DE L’ÉVALUATION
À LA COMPLEXITÉ DES
INTERVENTIONS
Analyse logique
Évaluation réaliste
Analyse des contributions

11. L’ANALYSE LOGIQUE
Source : Rey et al. 2012
Caractéristiques cruciales
de l’intervention
Effets
Effets désirés
Autres effets
Conditions cruciales
Analyse logique directe
Alternatives
(interventions)
Effets
Autres effets
Conditions cruciales
Analyse logique inversée
Effets désirés

12. L’ÉVALUATION
RÉALISTE
« Qu’est-ce qui
fonctionne, pour
quoi, dans quelles
circonstances? »
Théorie
Hypothèses
Observations
Spécification du
programme
Mécanismes
Contextes
Résultats

13. ANALYSE DES CONTRIBUTIONS
Source: Mayne, 2012

14. ECONOMIC VALUE
TCHOUAKET, E., BROUSSELLE, A., FANSI, A., DIONNE, P-A., BERTRAND, E., FORTIN, C. (2013) The economic value of Quebec's water
fluoridation program, Journal of Public Health, 26 juin 2013, open access: springerlink.com

15. CE QUE CES APPROCHES
ONT EN COMMUN
Centralité de la « théorie du
changement »
Importance du contexte
Intégration de diverses perspectives
Interprétation plausible (incertitude)
Processus de recherche valide et
rigoureux
Créativité
http://www.jr-art.net

16. RÉFÉRENCES
Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing
Theorists’ Views and Influences. Thousand Oaks, CA: SAGE, 12–65.
Champagne F., Contandriopoulos A-P, Brousselle A., Hartz Z., Denis J-L. (2011-2e édition) « L'évaluation dans le
domaine de la santé : concepts et méthodes », dans BROUSSELLE A., Champagne F., Contandriopoulos A-P.,
Hartz Z. (Eds) L'Évaluation : Concepts et méthodes, Presses de l’Université de Montréal : 49-70.
Mayne J. Contribution analysis: Coming of age? Evaluation 2012; 18(3): 270-280.
Dubois N, Lloyd S, Houle J, Mercier C, Brousselle A, Rey L. Discussion: Practice-based evaluation as a
response to address intervention complexity. Canadian Journal of Program Evaluation 2012; 26(3): 105-113.
Pawson, R., & Tilley, N. (2005). Realistic evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 362-
367). Thousand Oaks, CA: Sage Publications.
Rey L., Brousselle , A., Dedobbeleer, N. (2012) «Logic analysis: testing program theory to better evaluate
complex interventions», dans Houle, J., Dubois, N., Lloyd, S., Mercier C., Hartz, Z., Brousselle, A. (Ed.) (2012)
« L'évaluation des interventions complexes », numéro spécial, Revue Canadienne d'Évaluation de Programme/
Canadian Journal of Program Evaluation, Volume 26(3): 61-89.
Shadish W.R., Cook T.D., Leviton L.C. (1991) «Good Theory for Social Program Evaluation», in Shadish W.R.,
Cook T.D., Leviton L.C., Foundations of program evaluation. Theories of practice, Sage Publications: 36-67.
Shiell, A., Hawe, P., & Gold, L. (2008). Complex interventions or complex systems? Implications for health
economic evaluation. BMJ, 336(7656), 1281–1283. doi:10.1136/bmj.39569.510521.AD
Zimmerman, B., Dubois, N., Houle, N., Lloyd, S., Mercier, C., Brousselle, A. , Rey, L. (2012) «How does
complexity impact evaluation?: An Introduction to the Special Issue», numéro spécial, Revue Canadienne
d'Évaluation de Programme/ Canadian Journal of Program Evaluation, Volume 26(3):v-xx.
Astrid.brousselle@usherbrooke.ca
crc-easy.ca