évaluation en sante publique

1. L’EVALUATION EN SANTE
PUBLIQUE
Présentée par : Dr Hassana Belafki

2. Les objectifs pédagogiques :
• Définir l’évaluation et ses objectifs
• Connaitre les objets et les composantes de l'évaluation en santé
publique
• Distinguer les démarches évaluatives :
-Appréciation normative
-Recherche évaluative
• Réaliser une démarche évaluative sur le terrain

3. PLAN
• Introduction
• Objets de l’évaluation
• Composantes de l’évaluation
• Intérêt d’évaluation
• types d’évaluation
• Méthodes épidémiologiques d’évaluation
• Choix des critères et des indicateurs d’évaluation
• Démarche de l’évaluation
• Exemple
• Conclusion

4. Introduction :
DÉFINITIONS :
« L’évaluation est l’appréciation systématique de la conception, de la
mise en œuvre ou des résultats d’une initiative pour des fins
d’apprentissage ou de prise de décision ».
« L’évaluation en SP : est un processus d’analyse quantitative et / ou
qualitative qui consiste à apprécier soit le déroulement d’une action ou
d’un programme soit à mesurer leurs effets ».

5. « OMS : l’évaluation d’une intervention, d’un projet ou d’un
programme de santé est un processus scientifique qui permet
d’apprécier dans quelle mesure celui-ci a atteint l’objectif qui
lui est assigné ».

6. Toutes les définitions de l’évaluation associent trois dimensions :
1) Collecte d’informations
2) Appréciation critique
3) Des recommandations en vue d’une prise de décision

7. Ce que l'évaluation n'est pas :
Le suivi, la surveillance (ou monitoring, monitorage):
 qui consiste à relever ou mesurer régulièrement des données sans les
comparer à d'autres.
 il manque la comparaison à une norme ou une référence qui permet
l'appréciation.
il n'y a pas d'évaluation sans appréciation critique

8. Rôles et intérêts d’évaluation:
On évalue pour :
- Améliorer les stratégies et les actions de santé publique en vue de
satisfaire les besoins des populations ciblées
- aider à prendre des décisions éclairées sur la planification .
- Clarifier les options disponibles
- Justifier la dépense de fonds publics
- Accroitre l’efficience de système de sante

9. Les objets de l’évaluation :
L'évaluation peut être appliquée à des actions ou interventions de
santé extrêmement différentes :
• un traitement médicamenteux
• une technique diagnostique
• une unité de soins
• une organisation sanitaire (hôpital, réseau)
• un programme de santé publique
• une politique de santé...

10. Les composantes de l’évaluation :
L'évaluation en santé peut porter sur 3 composantes différentes :
 Les ressources, structures et organisations sanitaires :
des moyens humains, matériels, financiers, l'environnement et les
organisations mises en œuvre pour réaliser l'activité.
 Les activités, procédures ou pratiques sanitaires :
sont l'ensemble des techniques, méthodes mises en œuvre au cours de
l'action. Il peut s'agir d'activités préventives, diagnostiques ou
thérapeutiques.
 Les résultats :
Les résultats à court terme et l’impact de l’action

11. Les niveaux d’évaluation :

12. Types d’évaluation:
Evaluation normative
• Porter un jugement sur une intervention en
comparant les ressources mises en œuvre et leur
organisation (structure), les services (processus), et
les résultats obtenus à des références et à des
normes.
• Le référentiel d’évaluation pouvant être soit un
objectif de santé déterminé par la littérature, soit
un critère construit de façon pragmatique en
fonction de certaines situations, à partir d’avis
d’experts.
• Exemple : l’évaluation de la couverture vaccinale de
la campagne contre la rubéole en mesurant l’écart
entre l’objectif prévu et l’objectif atteint
Recherche évaluative
• Démarche scientifique qui consiste à comparer et
analyser les performances de certaines méthodes
d’intervention (la pertinence, la cohérence,
l’efficacité, l’efficience et l’impact ) avant leur
application et leur généralisation.
• Comparaison entre un groupe d’individus soumis à
l’intervention et un groupe d’individus non soumis à
cette intervention.
• Exemple : essai thérapeutique , où l'efficacité d'un
nouveau traitement est comparée à celle d'un
ancien traitement.

13. Les critères de performance d’une
intervention de santé :
- La pertinence : le lien entre les objectifs de l’action et les besoins identifiés
- La cohérence : le lien entre les différentes composantes du programme mis en œuvre
- L’efficacité : la relation entre les objectifs de l’action et les résultats
- L’efficience : la relation entre les ressources attribuées à l’action et les résultats
- L’impact : effet global à long terme de l’intervention

14. Méthodes épidémiologiques d’évaluation
 Enquête de type quasi-expérimental "ici/ailleurs " :
On compare, au même moment, des communautés distinctes géographiquement dont l'une
reçoit l'intervention et l'autre pas.
 une enquête d'observation de type "avant-/après " : On compare des sujets avant la
mise en place de l'intervention et après.
 une enquête d’observation simple : comparer les effets mesurés aux effets attendus
théoriques
 Des protocoles expérimentaux d’essais contrôlés
Cette méthode ne peut s’appliquer qu’en recherche évaluative et pas dans les contextes
habituels de mise en place d’actions de santé publique.

15. Choix des critères et des indicateurs d’évaluation
les critères :
• Les caractéristiques à observer ou à mesurer pour répondre aux
questions d’évaluation.
• Choix déterminant pour l’évaluation réalisé dès l’étape de l’évaluation
a priori.
• L’information sur les critères est obtenue par des indicateurs, qui
seront interprétés en les comparant à des références

16. Les indicateurs
• sont les données concrètes qui rendent compte du critère choisi dans
la réalité.
• Instruments de mesure qui permettent de quantifier, comparer est
suivre une évolution d’une action de santé de manière objective.

17. Exemple:
Composante La question d’évaluation Critère Indicateur
Structure Les ressources humaines
sont-elles adéquates ?
Qualification des
personnels
% de personnes formées
parmi les professionnelles
Processus L’intervention rejoint elle
la population cible ?
Couverture population
cible
% de bénéficiaires parmi
la population cible
Effet Les comportements
favorables à la santé ont-
ils progressés ?
Pratique hebdomadaire
d’un sport
% de sujets ayant une
activité sportive de plus
de 30 min / semaine

18. Démarche de l’évaluation :

19. Quand évaluer :
Avant l’action
« évaluation à priori »
• Le bien fondé et la
pertinence du projet
• Les moyens prévus
pour le projet
• La faisabilité des
actions prévues
• Les indicateurs qui
seront mesurés
Pendant l’action:
• Vérifie la dynamique
du déroulement de
l’action
• Mesure l’adéquation
des moyens et des
ressources
• Les données
recueillies a ce stade
permettent de
corriger la trajectoire
du projet , de la
réorienter, si
nécessaire vers
d’autres finalités.
À la fin de l’action
• Elle porte sur les
résultats, leur analyse,
leur interprétation et
leur exploitation.
• On s’attache ici a
vérifier le degré
d’atteinte des objectifs
de l’action.
Après l’action
• Se fait en quelques
mois ou quelques
années après la fin de
l’action.
• Permet de vérifier
l’impact ou le
prolongement de
l’impact du
programme ou de
l’action sur
l’environnement ou
sur la population.

20. Evaluer quoi
Les ressources
• Les moyens et les
ressources utilisés, les
méthodes suivies.
• La population :, qualité
des participants, profils
…
• Savoir dans quelle
mesure les ressources
employées de façon
adéquate pour
atteindre les résultats
attendus
Le processus
• Evaluer la pratique des
professionnels, la
réalisation des activités
prévisionnelles
• Vérifier l’utilisation des
ressources humaines,
financières et
matérielles.
•  Savoir dans quelle
mesure les services sont
adéquats pour atteindre
les résultats attendus
Les résultats
• Cette étape consiste à
se demander si les
résultats observés
correspondent a ceux
attendus.
• Il renseigne sur le
niveau d’atteinte des
objectifs
Les effets
• Les effets et les
retombés a long terme
de projet
• Les effets peuvent être
positifs ou négatifs

21. Évaluer par qui :
Evaluation interne
• L'évaluateur appartient à
la structure responsable
du projet, soit l’équipe de
projet , soit les acteurs
impliqués dans le projet y
compris la population
bénéficiaire
Evaluation externe
• L’évaluation est menée
par une équipe extérieure
et indépendante de celle
qui mène l'action. (experts
ou autres)

22. Comment évaluer?
1 : planifier l'évaluation
• déterminer l'objectif de l'évaluation
• préciser les questions auxquelles l’évaluation doit répondre
• choisir le type d'évaluation
• choisir les membres de l'équipe chargée de l'évaluation
• Décrire le programme.

23. Comment évaluer?
2 : Définir Les critères, les indicateurs et données à collecter
En fonction des objectifs de l’évaluation
Fonction du stade du l’action
3 : Collecter, analyser et juger les données collectées
 Faire la collecte de données
Faire une analyse des données collectées
Porter un jugement

24. 4 : Utiliser les résultats de l’évaluation :
L’utilité de toute évaluation est d’orienter la prise de décision pour
améliorer l’intervention en santé publique .
Ne doit pas se focaliser uniquement sur les insuffisances mais aussi
et surtout sur les réussites et les choses apprises

25. 5 : Diffuser les résultats d’évaluation
Dans le cadre de réunions communautaires avec les membres de la
communauté
Dans le cadre d’un séminaire pour présenter les résultats de
l’évaluation du projet communautaire
Sous forme de rapport écrit et diffusé aux autres partenaires

26. Exemple :
Évaluation du programme
national de détection précoce du
cancer du col utérin au Maroc

27. Problématique :
• le cancer du col de l’utérus se situe au deuxième rang des cancers
chez les femmes Marocaines.
• Un programme national de lutte contre le cancer de col basé sur la
pratique de l’inspection visuelle après application d’acide acétique a
été lancé en 2010, permettant un dépistage et éventuellement un
traitement immédiat des lésions (pré)-cancéreuses.
• un projet pilote sur le dépistage du cancer du col a été mené dans les
2 Régions Rabat Zammour Zaer et Meknès Tafilalt.

28. Evaluation du projet pilote du Programme national
de dépistage du cancer du col de l’utérus
Objectif général
•Etudier l’adéquation du contexte et du processus d’organisation des
établissements d’offres de soins pour l’implantation du programme de
la détection précoce du cancer du col utérin (DPCCU) au Maroc.
•Evaluer prospectivement l’efficacité du programme national de
détection précoce

29. Objectifs spécifiques
• Etudier les ressources mises en œuvre et leur organisation pour lutter
contre le cancer du col utérin
• Décrire les connaissances et les pratiques des professionnels en
matière DPCCU
• Etudier les délais « consultation-diagnostic » et « diagnostic-
traitement »
• Décrire le profil épidémiologique des femmes ayant recours aux
structures de soins
• Déterminer l’acceptabilité et la compliance des femmes ayant recours
aux structures de soins par rapport à ce programme
• Etudier la qualité des actes
• Identifier des futurs axes de recherche potentiels

30. Les questions évaluatives :
Q1 : Quels sont les pratiques et les connaissances et les comportements des professionnels de santé
en matière de détection précoce du cancer du col utérin à tous les niveaux du système de soins ?
Q2 : Quel est l’impact du programme national de détection précoce du cancer du col utérin
(PNDPCCU) sur les pratiques et les connaissances et les comportements des professionnels de santé ?
Q3 : Comment est organisée la filière de soins (référence contre référence) en matière du cancer du
col utérin ?
Q4 : Quel est le profil épidémiologique des femmes ayant recours aux structures de soins ?
Q5 : Quelle sera l’acceptabilité et la compliance de cette population par rapport à ce programme ?
Q6 :Quel est l’efficacité de ce programme en matière de réduction des stades avancés et de
diagnostic à un stade précoce ?
Q7 :Quel est l’impact de ce programme sur le délai consultation-diagnostic et le délai diagnostic-
traitement ?
Q8 :Quelle est la valeur prédictive positive de l’inspection visuelle du col avec l’acide acétique?

31. Q1 : Quels sont les pratiques, les connaissances et les comportements des
professionnels de santé en matière de détection précoce du cancer du col
utérin à tous les niveaux du système de soins ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

32. Q2 :Quel est l’impact du programme national de détection précoce du
cancer du col utérin (PNDPCCU) sur les pratiques et les connaissances et les
comportements des professionnels de santé ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

33. Enquêtes d’évaluation des deux premières questions
Q1 et Q2:
L’enquête Variables de l’étude Méthode de recueil
 Evaluation des pratiques des
professionnels de santé
 Description des
connaissances,
comportements des
professionnels de santé
 Caractéristiques sociodémographiques :
âge, sexe, ancienneté d’exercice
 Connaissances : Facteurs de risques du
cancer du col utérin, vaccination, les
examens de dépistage du cancer du col
utérin ….
 Attitudes : attitudes devant une femme à
risque
 Perceptions : place du dépistage dans leurs
activités, perception du programme et son
acceptabilité.
 Remise d’un auto-
questionnaire aux
professionnels de
santé relatif aux
connaissances,
attitudes et
perceptions
 Evaluation des
pratiques des
professionnels de
santé sur une grille
complétée par
les superviseurs du
programme de DPCCU,

34. Q3 :Comment la filière de soins est organisée en matière du cancer du
col utérin ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

35. Enquête d’évaluation de la question Q3:
Enquête Les variables de l’étude Méthode de
recueil
 Evaluation des ressources
et de l’organisation des
établissements d’offres de
soins
 La qualité de l’accueil des femmes
 Le respect de l’intimité de la patiente dans
la salle d’examen
 La table d’examen
 Le nombre de professionnels de santé
formés et non formées
 Une source de lumière adéquate
 Un spéculum vaginal stérile
 Des gants d’examen neufs ……
Une grille
d’évaluation de
l’organisation et
des ressources
des structures
d’offres de soins

36. Q4 : Quel est le profil épidémiologique des femmes ayant recours aux
structures de soins ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

37. Q5: Quelle sera l’acceptabilité et la compliance de cette population par
rapport à ce programme ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

38. Enquête d’évaluation des deux questions Q4
et Q5:
L’enquête Les variables de l’étude Méthode de
recueil
Description du profil
épidémiologiques
des patientes
 Données sociodémographiques : Age,
niveau d’étude, milieu de résidence, statut
matrimonial…
 Antécédents cliniques personnels :
cancers, infection gynécologique…
 Facteurs de risque : Age aux premières
règles, antécédents familiaux de cancer de
sein, ménopause, utilisation de
contraceptif oraux, HPV,….
 Connaissance : test de dépistage,....
 Acceptabilité (compliance) du
programme : examen clinique, bilan…
Questionnaire
administré par
des enquêteurs

39. Q6 :Quel est l’efficacité de ce programme en matière de réduction des
stades avancés et de diagnostic à un stade précoce ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

40. Q7 : Quel est l’impact de ce programme sur le délai consultation-
diagnostic et le délai diagnostic- traitement ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

41. Q8 : Quelle est la valeur prédictive positive de l’inspection visuelle du
col avec l’acide acétique ?
précisez s'il s'agit d'évaluer :
des ressources, structures et organisations
des activités et stratégies médicales
 des résultats
S’agit il d’une évaluation :
Normative
 De recherche

42. Enquête d’évaluation des questions Q6, Q7 et
Q8:
L’enquête Les variables de l’étude Méthode de recueil
Etudier
l’efficacité
du PDPCS
 Le nombre de femmes qui consultent
 Le nombre de femmes qui participent au programme de
DPCCU
 Le nombre d’IVA réalisé
 Le nombre d’IVA positif
 Le nombre de femmes qui consultent dans un niveau
supérieur parmi les femmes référées
 Le nombre de frottis cervico vaginal (FCV) réalisé
 Le nombre de FCV positif
 Le nombre de biopsies du col utérin positives
 Le nombre de femmes avec lésion suspecte de cancer
invasif
 Le nombre de patientes référées qui ont un diagnostic de
cancer
 La date du dépistage du cancer
 La date du diagnostic du cancer
 La date de prise en charge thérapeutique
Extraction des données à
travers le système
d’information mise en
place.

43. Conclusion :
• L’ évaluation est une étape importante du processus de démarches de
la santé publique.
• Elle s’appuie sur des indicateurs pertinents
• Doit produire une information utile pour mesurer le changement et
prendre les décisions .