Synthese etude-formaeva-2011

Synthèse d'étude
Les pratiques d'évaluation des formations
des entreprises françaises en 2011

Dernière modification : 25/08/11 - 12:28:19

Les pratiques d'évaluation des formations des entreprises françaises en 2011 |1
© Formaeva

À propos de Formaeva

L'équipe Formaeva a développé une plateforme web d'évaluation des
formations puissante, flexible et simple d'utilisation. Capitalisant sur
les technologies les plus abouties et plusieurs années de recherche et
développement, elle permet de mesurer l'impact des formations sur
les connaissances, les compétences et les performances de l'entre-
prise. À ce titre, elle permet la mise en œuvre de toutes les pra-
tiques d'évaluation des formations (évaluation des réactions, de l'ap-
prentissage, du transfert des acquis de la formation, de leur impact
opérationnel, etc.).

Véritable outil de mesure de la qualité de service, Formaeva consti-
tue le support d'une communication transparente entre les acteurs de
la formation : participants, managers, formateurs, responsables for-
mation, etc. La neutralité du tiers-évaluateur facilite la collecte des
informations et crédibilise la diffusion ultérieure des résultats inalté-
rés auprès des directions, comités d'entreprise, supports commer-
ciaux, etc.

Aujourd'hui, Formaeva fait se rencontrer les plus grandes entreprises
françaises (Arkema, Auchan, Groupe BPCE, Groupe La Poste, RATP,
Saint Maclou, Sodexo, etc.) et les organismes de formation les plus
attentifs à la qualité de leurs prestations.

Pour en savoir plus : contact@formaeva.com

Le site de Formaeva : http://www.formaeva.com

Le blog de Formaeva : http://blog.formaeva.com

Une rapide présentation des fonctionnalités de la plateforme :

http://www.formaeva.com/files/documents/ressources/survol-formaeva.p df

© Formaeva

Synthèse

Ce document propose une synthèse d'une étude menée entre le 12
mai et le 30 juin 2011 par Formaeva, portant sur les pratiques d'éva-
luation des formations des entreprises françaises. L'objectif principal
de cette étude était de bien identifier les pratiques d'évaluation des
formations des entreprises étudiées du point de vue :

Du contenu : quels résultats de la formation sont évalués ?

Des méthodes : comment ces résultats sont-ils évalués ?

Des objectifs : pourquoi ces résultats sont-ils évalués ?

Vous trouverez dans ce document un rapide rappel méthodologique
quant à la démarche d'enquête mise en œuvre, puis une présentation
des résultats pour chaque niveau d'évaluation, comprenant des don-
nées qualitatives (verbatims) et quantitatives.

A titre de synthèse, nous pouvons mettre en exergue deux enseigne-
ments majeurs de l'étude de 2011.

Les pratiques d'évaluation demeurent peu développées, tant au
sein des entreprises (les « demandeurs de formation ») que des orga-
nismes de formation (les « offreurs de formation »). Comme en 2010,
l'évaluation des réactions (niveau 1) est la plus pratiquée, limitant
donc principalement le rôle de l'évaluation de la formation au simple
fait de questionner le degré de satisfaction des formés, sans savoir ce
qu'il a appris (niveau 2), s'il se sert de ce qu'il a appris en situation de
travail (niveau 3) et si cela a un impact positif sur les résultats de l'or-
ganisation (niveau 4). Ce constat en rejoint un autre, qui est que plus
l'on progresse dans la hiérarchie des niveaux, plus rares se font les
évaluations. Il s'agissait là aussi d'une conclusion de l'étude de 2010.
Le tableau de la page suivante compare justement les d'ailleurs inté-
ressant de comparer les chiffres de 2010 et de 2011. Précisons toute-
fois que les échantillons diffèrent entre les études, tant dans le
nombre d'organisations participantes que dans leur type (même si plu-
sieurs organisations ont participé aux deux éditions de l'étude). Les
chiffres ne sont donc donnés qu'à titre indicatif.

© Formaeva

2010 2011 Évolution
(N = 80) (N = 60) (2010/2011)

Évaluation formelle 81,3 % 93,3 % + 12
Niveau 1 :
Évaluation informelle 17,5 % 6,7 % - 10,8
Réactions
Pas d'évaluation 1,3 % / - 1,3

Évaluation formelle 60 % 55 % -5
Niveau 2 :
Apprentissage
Pas d'évaluation 17,5 % 33,3 % + 15,8

Évaluation formelle 36,3 % 35 % - 1,3
Niveau 3 :
Évaluation informelle 25 % 11,7 % - 13,3
Comportements
Pas d'évaluation 38,8 % 53,3 % + 14,5

Évaluation formelle 13,8 % 13,3 % - 0,5
Niveau 4 :
Résultats
Pas d'évaluation 65 % 80 % + 15

Hormis pour l'évaluation des réactions (niveau 1), dont les pratiques
d'évaluation sont à la fois plus fréquentes et formalisées en 2011 qu'en
2010 (tous les répondants évaluant d'ailleurs à ce niveau), les autres
pratiques d'évaluation formelles sont plus rares aux niveaux 2, 3 et 4.
Il est ainsi intéressant de noter que l'obligation légale (partielle)
d'évaluation des acquis n'a pas pour le moment contribuer à dévelop-
per l'évaluation de l'apprentissage, tout du moins au sein des organi-
sations de l'échantillon. Faut-il en conclure que les résultats des for-
mations sont moins évalués dans ces organisations ? Nous ne le pen-
sons pas. Une hypothèse crédible est que les chiffres de 2011 sont
plus réalistes que ceux de 2010, principalement du fait d'une plus
grande connaissance du modèle de Kirkpatrick par les répondants,
donc de confusions moins fréquentes de leur part quant à l'objet de
chaque niveau d'évaluation et, in fine, de réponses plus proches de la
réalité de leurs pratiques. Cela nous semble d'autant plus possible que
parmi les répondants à l'enquête figurent plusieurs clients de Formae-
va ou des lecteurs réguliers de notre blog et de notre lettre d'informa-
tion. Autant de professionnels des RH et de la formation régulière-
ment sensibilisés aux enjeux de l'évaluation des formations et à l'inté-
rêt d'utiliser un modèle comme celui de Kirkpatrick pour évaluer ses

© Formaeva

formations (sans rester dans le « flou » conceptuel des évaluations « à
chaud » et « à froid » qui, dans le fond, ne signifient pas grand
chose).

Comme en 2010, la rareté des évaluations aux niveaux 2, 3 et/ou 4 a
comme cause majeure la difficulté à penser l'évaluation comme un
processus à part entière. Outre les aspects méthodologiques (ex :
comment isoler l'impact de la formation au niveau 4 ?), nous remar-
quons encore que trop de formations sont initiées sans qu'un besoin
réel n'ait été identifié en amont et que des objectifs de formation
concrets (observables et mesurables en situation de travail) ne soient
définis, que trop d'évaluations n'impliquent pas réellement les mana-
gers des formés, que trop de résultats ne sont pas analysés, communi-
qués et exploités à bon escient, etc. Dans nombre d'esprits, l'évalua-
tion est encore trop souvent limitée à un envoi de questionnaire, que
l'on aurait parfois informatisé. Or, une évaluation pertinente et effi-
cace de la formation devrait être pensée comme un processus
structurant complètement l'action de formation. C'est lorsqu'elle est
pensée en ce sens que l'évaluation peut servir au-delà de la seule ac-
tion de formation et devenir un outil de management, accompagnant
les opérationnels dans le suivi du développement des compétences de
leurs équipes. Il est satisfaisant de constater que plusieurs partici-
pants à l'enquête l'ont bien intégré et travaillent en ce sens.

© Formaeva

Méthodologie

Plateforme utilisée pour l'enquête

La plateforme Formaeva a été utilisée aux différents moments de l'enquête : création du

questionnaire, relances automatisées des participants n'ayant répondu que partiellement au

questionnaire, analyse des données, restitution des résultats.

Accessibilité et publication de l'enquête

L'enquête a été lancée le 12 mai 2011 et le questionnaire fut accessible jusqu'au 30 juin 2011

(date de clôture de l'enquête). La promotion de cette enquête s'est faite essentiellement via

la lettre d'information de Formaeva ou son blog (http://blog.formaeva.com), ainsi que par les

réseaux sociaux (ex : Facebook, LinkedIn, Twitter, Viadeo). Pour favoriser la participation à

l'enquête, il était clairement stipulé qu'une synthèse des résultats serait envoyée à tous les

participants.

Référentiel théorique

Les questions posées s'articulent essentiellement autour du modèle d'évaluation des forma-

tions à 4 niveaux de Donald Kirkpatrick :

Contrairement à l'édition précédente de cette étude (2010), nous avons volontairement écar-

té le cinquième niveau d'évaluation introduit par Jack Phillips, celui du retour sur investisse-

ment de la formation, ceci pour deux raisons. D'abord, l'étude de 2010 nous a montré que le

retour sur investissement de la formation était une expression quelque peu galvaudée,

plusieurs répondants évoquant explicitement le « ROI » de la formation en le confondant avec

d'autres niveaux d'évaluation. De plus, comme Kirkpatrick et ses partenaires, et après plu-

sieurs années à mener à bien divers projets d'évaluation des formations, nous pensons qu'il est

© Formaeva

préférable de raisonner en termes de retour sur les attentes (ROE – Return on Expectations)

que de retour sur investissement (ROI – Return on Investment), une approche plus pragma-

tique, réaliste et orientée vers le partenariat avec les managers.

Distinguer le formel de l'informel

Afin de mieux interpréter les résultats, il était demandé au répondant de faire la distinction

entre les pratiques d'évaluation formelles et informelles :

• Une évaluation formelle est une évaluation faite par toutes les personnes concer-

nées à l'aide d'un outil d'évaluation (ex : questionnaire, quiz, etc.).

• Une évaluation informelle est une évaluation menée par une personne qui recueille

auprès de quelques autres personnes des informations parcellaires ou anecdotiques sur la for -

mation.

Participants à l'enquête

Au total, plus de 100 participants se sont inscrits pour participer à l'enquête. Toutefois, plu -

sieurs d'entre eux n'ont pu être retenus pour les besoins de l'analyse finale :

• Plusieurs n'ont pas complété le questionnaire, même après relance, et se sont donc

limités à l'inscription. Ils ne font donc pas partie de l'échantillon final.

• D'autres encore n'ont pas entièrement complété le questionnaire. Suite à une re-

lance, nous avons pu toutefois motiver certains à le terminer.

Afin de garantir la validité des informations communiquées, nous avions expressément men-

tionné l'obligation de renseigner son adresse électronique professionnelle. Dans le cas où il

s'agissait d'adresse électronique personnelle (ex : consultants indépendants), nous prenions

soin de vérifier l'existence de cette personne (généralement présente sur les réseaux sociaux

au sein desquels était diffusée l'invitation à participer à cette enquête). Au final, 60 partici-

pants ont été retenus.

Représentativité de l'échantillon

Notre échantillon est donc constitué de 60 organisations. Il n'est pas suffisamment important

pour prétendre à une certaine de représentativité statistique. Mais l'objectif de l'étude n'était

pas tant de prétendre à une certaine généralisation des résultats que d'étudier en profondeur

les dispositifs d'évaluation des formations mis en œuvre par certaines organisations.

© Formaeva

Voici les caractéristiques de cet échantillon :

Taille Moins de 100 Entre 100 et 499 Entre 500 et 999 Plus de 1 000

(nb de salariés) 28 16 13 3

Type Entreprise/Administration Organisme de formation Autre

d'organisation 32 21 7

Au niveau de la taille, nous pouvons noter une plus forte participation des organisations dont

l'effectif est inférieur à 500 salariés, tandis que les plus grandes organisations (effectif supé-

rieur à 1 000 salariés) se sont faites plus rares.

En ce qui concerne le type d'organisation, il apparaît que les entreprises et administrations

(les « acheteurs de formation ») représentent la majorité des participants à cette étude. Ar-

rivent ensuite les organismes de formation (les « offreurs de formation »), puis la catégorie

« Autre » au sein de laquelle figurent, notamment, les OPCA.

Enfin, il est à noter une certaine hétérogénéité des secteurs d'activités représentés. Sans

tous les lister ici, nous pouvons citer la participation d'entreprises du secteur du conseil (dont

quelques consultants indépendants), de la formation, de l'industrie, des banques-assurances,

de la grande distribution, de la restauration, du transport, etc.

Anonymat et confidentialité

Comme annoncé, aucune identité, liée au participant ou à son organisation d'appartenance,

ne sera divulguée dans le cadre de cette enquête. Par ailleurs, les données étant agrégées,

les réponses d'une organisation en particulier ne seront pas diffusées. Certains verbatim se-

ront cités, à titre d'illustration, sans toutefois qu'il soit possible d'identifier ni le participant,

ni son organisation.

© Formaeva

Niveau 1 : Les réactions
Les participants sont-ils satisfaits de la formation ? Ont-ils pris du plaisir à la suivre ? Y ont-

ils vu un intérêt ? Ce niveau d'évaluation (appelé aussi « satisfaction ») porte généralement

sur l'organisation de la formation, le contenu de la formation, les supports pédagogiques, la

structure de la formation, l'animation de la formation, etc.

Résultats

Évaluez-vous les réactions des formés ?
Oui majoritairement de façon formelle
Oui majoritairement de façon informelle

Quel est l'objectif de cette évaluation ? Que faites-vous des résultats
après en avoir pris connaissance ?

Classiquement, les objectifs de cette évaluation peuvent être regroupés en 3 catégories. Pour

chacune d'elles sont mentionnés les éléments donnés par les répondants.

La rétroaction (feedback) : connaître le degré de satisfaction des formés, vérifier que la for-

mation a répondu à leurs attentes, identifier les principaux motifs de satisfaction et d'insatis -

faction (identifier les dysfonctionnements, mettre en évidence les axes d'amélioration), re-

cueillir les suggestions des formés, évaluer la qualité des contenus, des supports pédago -

giques, avoir la « température » de la formation, le vécu des formés, etc. Les entreprises y

voient également un moyen d'évaluer leurs prestataires (ex : ).

La prise de décision : une fois en possession des informations collectées au point précédent,

différentes actions peuvent être mises en œuvre en vue d'améliorer en continu la qualité des

formations. Les répondants citent ainsi des exemples relatifs tant à la formation (ex : adapta-

tion du contenu, réutilisation de ce qui a été apprécié, modification et adaptation de ce qui

l'a moins été, etc.) qu'au(x) formateur(s), ainsi que l'explique l'un des répondants : « Ces ré-

sultats sont tracés dans le plan de formation pour évaluer les prestataires, leurs interve-

nants, cela peut participer de la sollicitation future pour des consultations ou choix de pres -

tataires ». Les actions peuvent aussi porter sur des éléments extérieurs à la formation. L'un

des répondants explique ainsi l'importance des résultats de cette évaluation pour travailler

sur l'amont de la formation (entretien préalable entre le formé et son manager, partage des

objectifs, engagement de moyens, etc.). Enfin, certains organismes de formation analysent

les résultats à ce niveau pour, le cas échéant, prendre contact avec le formé en cas d'insatis-

faction et trouver avec lui (ou le responsable formation) une solution.

La communication (marketing de la formation) : les résultats issus de cette évaluation, tout

comme les décisions et actions d'amélioration qui peuvent en découler, peuvent être commu-

© Formaeva

niqués à différents acteurs. Dans une logique de « marketing de la formation », cette commu-

nication peut servir à valoriser l'action des acteurs de la formation (tant celle des membres

du service RH-formation que celle des prestataires). C'est ainsi que certains répondants uti-

lisent ces données pour alimenter un tableau de suivi dans le cadre du système de manage-

ment de la qualité de l'entreprise, réaliser un bilan qualitatif des formations, présenter une

synthèse lors de la tenue du Comité d'orientation stratégique de la formation, etc. Certains

prestataires de formation communiquent également les résultats afin d'améliorer l'efficacité

de leur partenariat avec leurs clients : « Ces résultats sont communiqués au client et font

l'objet d'un débriefing ensemble pour ajuster si nécessaire la formation (ou les suivantes)

et/ou accélérer les suivantes ».

Du total des formations données en un an, quel pourcentage d'entre
elles évaluez-vous à ce niveau ?

(51 organisations sur 60 se sont ici exprimées)

100 % des formations 43 organisations

Entre 90 et 100 % des formations 5 organisations

30 % des formations 1 organisation


Il est intéressant de noter que 2 des organisations évaluent au maximum 5 % de leurs forma -

tions à ce niveau, ce qui est assez exceptionnel .

A quel moment réalisez-vous cette évaluation ?
Pendant la formation
Juste après la formation
Les jours suivant la formation
Plusieurs semaines après la formation
Plusieurs mois après la formation

Comme souvent, l'évaluation des réactions est réalisée « à chaud », c'est-à-dire juste après la

formation. Lorsqu'elle est réalisée à l'aide d'un questionnaire au format « papier » (évaluation

formelle) et/ou oralement par le formateur(évaluation informelle), elle a généralement lieu

à la toute fin de la formation. Lorsqu'elle est réalisée à l'aide d'un questionnaire d'évaluation

en ligne (ex : envoi d'un courriel au formé et relances automatisées), l'évaluation a souvent

lieu 24 à 48 heures après la formation, procédant alors à une évaluation « à tiède ». Contrai-

rement aux usages, il est intéressant de noter que certains évaluent les réactions des formés

« à froid », plusieurs semaines, voire plusieurs mois, après la formation. Outre le fait que l'on

risque de questionner les formés sur des éléments déjà lointains (au moins dans leur esprit),

© Formaeva

le fait de décaler à ce point cette évaluation ne permet pas de réagir rapidement, notam-

ment en réponse à de possibles insatisfactions.

Qui participe à l'évaluation ?
Le formé
Le formateur
Le service formation
Le manager du formé (son N+1)
Autre(s)

Sans surprise, le formé demeure l'acteur central de l'évaluation des réactions. Interviennent

ensuite, plus ponctuellement, le formateur (qui peut aussi faire part de son avis sur différents

éléments de la session), le service formation et, plus rarement encore, le manager du formé.

Hormis le formateur pour lequel l'évaluation peut être formalisée (ex : compte-rendu écrit

remis au commanditaire), l'évaluation réalisée par le service formation et/ou le manager du

formé est bien souvent informelle(ex : clôture de session, échange rapide au détour d'un cou-

loir, bref entretien de retour au poste, etc.).

Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?

L'évaluation des réactions se fait de manière informelle (ex : tour de table par le formateur,

débriefing rapide par le service formation et/ou le manager du formé, etc.) et/ou formelle

(généralement un questionnaire). C'est ce second cas qui est le plus fréquent. Les caractéris-

tiques principales des questionnaires utilisés par les répondants sont les suivantes :

La forme des questionnaires : généralement composés de questions fermées (majoritaires)

et de quelques questions ouvertes, le nombre de ces questions varie de 6 à 25. Les échelles

de réponse utilisées sont du type « 1 à 4 », « 0 à 5 » ou « 1 à 5 ».

Les items : variables d'un questionnaire à l'autre, certains items n'en demeurent pas moins

des « classiques ». Sont ainsi cités par les répondants : la préparation de la formation en

amont, l'organisation/la logistique (ex : conditions matérielles), le contenu/le programme

(ex : importance des thèmes), la structure de la formation (ex : rythme, durée, équilibre

théorie/pratique...), l'animation (ex : qualité du formateur, échanges entre les formés...),

les supports pédagogiques, l'utilité/la pertinence de la formation, les points forts et les points

d'amélioration, la satisfaction globale, la réponse au besoin/aux attentes, etc.

Mode d'administration : il s'agit soit un questionnaire « papier » (généralement distribué en

fin de formation) ou d'un questionnaire en ligne (envoyé au lendemain de la formation, par

exemple via une solution dédiée comme Formaeva).

Type de traitement : lorsqu'elle est réalisée à l'aide d'un questionnaire « papier », les résul-

tats sont soit retraités et consolidés sous Excel, soit parcourus rapidement avant d'être archi-

© Formaeva

vés (il n'y a intervention qu'en cas d'insatisfaction). De plus, dans ce cas, comme le note un

formateur, il n'y a que « Peu d''exploitation possible car le questionnaire est le plus souvent

incomplet ». Ce problème n'est pas soulevé pour les répondants utilisant un questionnaire en

ligne qui permet d'agréger plus facilement les résultats, de suivre leur évolution dans le

temps et/ou de les communiquer..

Analyse

L'évaluation des réactions est la plus pratiquée, tant par les entreprises que les organismes de

formation. Il est à noter que, bien qu'étant le niveau d'évaluation le plus connu du modèle de

Kirkpatrick, il subsiste une confusion entre les différents niveaux. Ainsi, à la question portant

sur les objectifs de cette évaluation, plusieurs répondants nous ont livré des éléments portant

sur d'autres niveaux, comme l'apprentissage et les comportements (ou transfert), par

exemple : « L'évaluation sert à savoir si les stagiaires ont élargi leurs connaissances et sur-

tout s'ils ont l'intention de mettre les acquis en place dans leur quotidien professionnel »,

« développement des compétences », « Vérifier l'adéquation entre les attendus du salarié,

ceux du manager et les acquis post-formation », « Faire le lien entre les objectifs pédago-

giques et les éléments assimilés ». L'appropriation d'un modèle d'évaluation (comme celui de

Kirkpatrick) par les professionnels de la formation nous semble être un point important pour

faire progresser les pratiques d'évaluation des formations et pour que les évaluations gagnent

en cohérence.

Pour le reste, nous pensons que les préconisations émises lors de l'étude de 2010 restent va-

lables, tant il est vrai que l'évaluation des réactions demeure encore insuffisamment exploi-

tée. Une évaluation plus professionnelle des réactions (niveau 1) nécessite donc de travailler

sur la qualité de l'évaluation elle-même (en formalisant l'évaluation pour pouvoir quantifier

la satisfaction, facilitant ainsi l'analyse des chiffres et la mise en œuvre d'actions ciblées), la

mise en œuvre de l'évaluation (notamment pour accroître et maintenir des taux de retour

élevés, permettre au service de formation de gagner du temps via l'automatisation du proces-

sus d'évaluation des formations et ainsi se concentrer sur l'essentiel, etc.) et, enfin, l'utilisa-

tion et la communication des résultats (analyser les résultats, envisager des actions ciblées

pour améliorer en continu la qualité et l'efficacité des formations, communiquer ces éléments

aux différents acteurs pour, enfin, valoriser la fonction formation).

© Formaeva

Niveau 2 : L'apprentissage
Qu'ont appris les participants au cours de la formation ? Ce niveau d'évaluation porte généra-

lement sur l'acquisition de savoirs au cours de la formation (savoir, savoir-faire et/ou savoir-

être), donc sur le degré d'atteinte des objectifs pédagogiques de la formation.

Résultats

Évaluez-vous l'apprentissage ?
Non


Les objectifs avancés par les répondants peuvent s'inscrire dans les deux grands types d'éva-

luation de l'apprentissage :

Évaluation formative : cette forme d'évaluation a généralement lieu au cours de la formation

et produit une information à destination des formateurs et/ou des formés, leur permettant

d'apprécier la progression des connaissances, d'identifier les axes de progrès, d'adapter le

contenu du programme et/ou les méthodes pédagogiques en fonction, etc. L'un des presta-

taires de formation explique recourir à ce type d'évaluation pour « Contrôler tout au long de

la formation l'acquisition de connaissances ou « compétences » pour pouvoir revenir si besoin

est dessus en cours de session ».

Évaluation sommative : cette forme d'évaluation vise à valider les acquis de la formation, à

vérifier que les connaissances ont bien été assimilées, donc que les objectifs pédagogiques

ont été atteints. Elle a généralement lieu à la fin de la formation. Pour l'un des répondants, il

s'agit de « Vérifier essentiellement que les connaissances fondamentales ont été acquises »

et, en cas d'écart, de « revenir vers le formé pour consolider les connaissances man-

quantes ». L'un des répondants explique aussi utiliser les résultats de cette évaluation pour

évaluer la pertinence des objectifs pédagogiques, qui pourrait se résumer ainsi : « Cette éva-

luation permet de s'assurer que la formation est conforme au cahier des charges, que le

choix de la formation est adapté au plan de formation et à la demande et que cela a permis

au collaborateur d'acquérir de nouvelles connaissances pour répondre à des problématiques

du quotidien ».

Peu d'informations ont été livrées par les répondants quant à l'utilisation qui est faite de ces

résultats, seul l'un expliquant transmettre une synthèse des résultats aux concepteurs du dis-

© Formaeva

positif de formation, dans une logique d'amélioration continue.








Enfin, une autre organisation différencie ses pratiques d'évaluation de l'apprentissage en

fonction des formations : elle évalue ainsi formellement l'apprentissage pour l'ensemble de

ses parcours d'intégration, mais ne prévoit rien pour les formations à la conduite d'engins qui

représentent 80 % de son plan de formation.

Pendant la formation
Juste après la formation

L'évaluation de l'apprentissage est fréquemment menée juste après la formation, donc « à

chaud », souvent en même temps que l'évaluation des réactions. Notons qu'elle est parfois

menée « à froid », plusieurs semaines ou mois après la formation, ce qui équivaut à évaluer la

mémorisation des connaissances plutôt que leur seule acquisition.

Le formé
Le formateur
Autre(s)

Le formé est le principal acteur de l'évaluation de l'apprentissage, soit parce qu'il participe à

une évaluation formalisée conçue par un tiers (ex : répondre à un quiz d'évaluation des

connaissances), soit parce qu'il est placé en situation d'autoévaluation (ex : il lui est demandé

© Formaeva

d'estimer sa progression pour chacun des objectifs visés par la formation). Parmi les autres

acteurs sont notamment cités les tuteurs.


Les outils et méthodes utilisés par les répondants peuvent être catégorisés selon les deux

types d'évaluation décrits précédemment :

Évaluation formative (pendant la formation) : exercices, simulations (pour les formations en

développement personnel), quiz d'évaluation des connaissances, questionnements oraux, etc.

Évaluation sommative (après la formation) : quiz d'évaluation des connaissances (après

chaque module et/ou à la fin de la formation), autoévaluation (progression par rapport aux

objectifs visés par la formation), guide d'entretien (ex : avec le N+1, notamment dans le

cadre de l'entretien annuel, ou le RRH), etc.

L'un des organismes de formation met en œuvre un protocole d'évaluation assez sophistiqué :

un quiz d'évaluation des connaissances est proposé aux participants avant le début de la for-

mation, puis ce même quiz leur est soumis à nouveau après la formation. L'analyse des résul-

tats à cette évaluation permet de quantifier un gain d'apprentissage. L'ensemble de ce proto-

cole est informatisé à l'aide de la solution Formaeva. D'autres répondants réalisent également

l'évaluation en ligne via leur LMS (Learning Management System).

Il est donc à noter que le quiz d'évaluation des connaissances est un outil utilisé tant pendant

la formation qu'après celle-ci.

Analyse

Si l'on compare les chiffres de cette étude avec ceux de l'étude de 2010, il ne semble pas que

l'obligation d'évaluation des acquis de la formation (introduite par la loi de 2009 sur la ré-

forme de la formation professionnelle continue) ait contribué à développer les pratiques

d'évaluation à ce niveau, tant au sein des entreprises que des organismes de formation pré-

sents dans notre échantillon. Bien que cette obligation soit finalement moins contraignante

que prévu (n'obligeant pas, par exemple, à une systématisation du quiz), il nous semble tou-

tefois important de disposer de données sur l'apprentissage pour, entre autres, ne pas se limi-

ter à savoir si le formé est satisfait de la formation, mais bien s'il en a retiré quelque chose.

Pour cela, les préconisations émises dans le cadre de l'étude de 2010 restent valables, notam-

ment deux d'entre elles qui sont dans l'esprit de ce qu'énonce la DGEFP en la matière :

Définir des objectifs de formation concrets en amont de la formation : bien trop de forma-

tions ne disposent pas d'objectifs formulés de façon à être observables et, donc, mesurables

en situation de travail (ex : « Être capable de... »). De bons objectifs de formation facilitent

ainsi l'évaluation de l'apprentissage (via une autoévaluation par les formés), « à chaud », mais

© Formaeva

aussi l'évaluation des comportements (ou transfert des acquis), « à froid ». Il est à noter que,

si l'obligation légale ne contraint pas à utiliser systématiquement une méthode formalisée

d'évaluation des acquis, elle oblige en revanche à livrer une attestation de formation au for -

mé, sur laquelle doivent figurer les résultats de l'évaluation des acquis ou, a minima, les ob-

jectifs de formation adéquatement formulés.

Apprendre n'est pas transférer : comme en 2010, nous avons relevé une grande confusion

entre l'apprentissage et le transfert. A la question portant sur l'objectif de l'évaluation de

l'apprentissage, plusieurs répondants livrent des éléments relatifs à l'évaluation du transfert :

« Apprécier l'utilisation des acquis en situation professionnelle », « Pour des formations ma-

nagériales, nous demandons aux N+1 de briefer leurs collaborateurs sur les finalités de la

formation qu'ils vont suivre, de fixer 2 ou 3 objectifs, de débriefer après la formation et de

faire un point après 6 ou 8 mois, mieux encore pendant l'entretien annuel ». Un autre répon-

dant nous explique aussi utiliser comme méthodes d'évaluation de l'apprentissage la « discus-

sion avec le manager », notamment « durant la revue de performance et de développe-

ment ». Il y a donc confusion entre l'apprentissage (qui se produit, le cas échéant, pendant la

formation et à l'issue de la formation) et le transfert de cet apprentissage sur le terrain (qui

peut alors être constaté par le manager, quelques semaines ou mois après la formation). Il

peut en effet y avoir apprentissage sans transfert, pour des raisons extérieures à la formation

elle-même (ex : la formation n'a pas été donnée au moment où il en avait le plus besoin).

© Formaeva

Niveau 3 : Comportements (transfert des acquis)
Ce qui a été appris est-il utilisé en situation de travail ? La formation a-t-elle modifié les

comportements au travail des salariés formés ? Ce niveau d'évaluation vise à s'assurer que ce

qui a été appris en formation est bien utilisé au travail (utilisation des acquis, mise en

œuvre de nouveaux comportements professionnels, etc.).

Résultats

Évaluez-vous le transfert des acquis ?
Non


Les objectifs de cette évaluation pour les répondants peuvent être catégorisés ainsi :

Évaluer le transfert des acquis de la formation : qu'il s'agisse de « Vérifier la mise en œuvre

des nouveaux acquis », d'évaluer le « Changement de comportement professionnel », de

« S'assurer que ce qui a été appris en formation est bien utilisé au travail », de « Voir si les

stagiaires ont utilisé en situation de travail les apports de la formation », de « constater (ou

pas !) la mise en application sur le poste de travail, de passer de la théorie et de la bonne

volonté à l'expression concrète et opérationnelle dans le quotidien », « Valider l'atteinte des

objectifs de formation (compétences et comportements en situation de travail) par une réa-

lisation concrète », les réponses données correspondent toutes à l'évaluation du transfert des

acquis, faisant de cet objectif l'objectif prioritaire à ce niveau. Comme le mentionne l'un des

répondants, c'est à cette occasion qu'il est possible de constater que la formation a été utile

à l'entreprise, ou non.

Favoriser le transfert des acquis : cette évaluation est aussi l'occasion d'« Ajuster les mises

en situation », de « contextualiser les acquis », d'effectuer des « Remontées de bonnes pra-

tiques » ou encore d'instaurer des « Échanges avec les N+1 afin de booster les actions ».

Toutes ces actions contribuent ainsi à accompagner au mieux les formés lors d'un suivi post-

formation (ex : par le manager) afin de maximiser le transfert des acquis.

Évaluer la pertinence de la formation : l'un des répondants explique que cette évaluation lui

permet de « Conforter l'analyse des besoins effectuée à l'occasion de la définition du plan de

formation », tandis qu'un autre parle de « Vérifier l'adéquation de la formation aux be-

soins ». Dans les deux cas, il s'agit bien de se poser la question de la pertinence de la forma -

tion : cette formation était-elle la meilleure solution en réponse au problème rencontré, au

© Formaeva

besoin identifié ?







Aussi, l'une des organisations ne donne pas de chiffres précis, car expliquant différencier ses

pratiques d'évaluation du transfert en fonction de différents critères : le secteur de l'entre-

prise, le manager, le niveau de qualification, etc. Par ailleurs, il apparaît logiquement que

l'évaluation du transfert des acquis est plus délicate à mener pour les prestataires de forma-

tion qui ne peuvent pas aisément maintenir un contact avec le formé (et encore moins avec

son manager), comme l'indique l'un d'eux : « Je ne peux évaluer que les salariés dont l'entre-

prise a souhaité un suivi pour les autres la situation de travail n'est pas observable a poste-

riori ».


L'évaluation du transfert a donc principalement lieu « à froid », plusieurs semaines ou mois

après la formation, ce qui paraît logique du fait du laps de temps nécessaire pour le formé

teste en situation les acquis de sa formation et se les approprie durablement (notamment

avec le soutien de son manager, de ses collègues, etc.). Si l'évaluation a lieu quelques jours

après la fin de la formation, il est probable que le résultat soit biaisé positivement (dans l'eu-

phorie de la formation, le formé peut utiliser ce qu'il a appris sans que cela ne dure) ou néga-

tivement (le formé n'a pas encore eu le temps d'utiliser ce qu'il avait appris, fautes d'occa-

sions d'appliquer ses acquis). Rappelons que le « bon moment » pour l'évaluation du transfert

dépend de plusieurs choses, à commencer par la nature de la formation (les compétences

« techniques » pouvant être mises en œuvre plus rapidement que les compétences « managé-

riales » ou « comportementales »).

Le formé

© Formaeva

Le formateur
Autre(s)

Le formé et son manager sont donc les deux principaux acteurs de l'évaluation du transfert

des acquis (parfois ensemble, dans une logique de co-évaluation). Comme pour l'évaluation de

l'apprentissage, nous pouvons aussi relever le rôle joué par les tuteurs à ce niveau.


Différents outils et méthodes sont utilisés par les répondants pour évaluer le transfert des ac -

quis, formels comme informels :

Le questionnaire d'évaluation : celui-ci peut comporter des questions génériques (ex :

« J'utilise régulièrement les acquis de ma formation »), des questions sur le respect des en-

gagements pris par le formé à l'issue de la formation (et renseignés sur le questionnaire d'éva-

luation « à chaud ») et/ou des questions sur la mise en œuvre en situation de travail des com-

portements attendus à l'issue de la formation (correspondant aux objectifs comportemen-

taux). Ce questionnaire peut aussi comprendre des questions visant à identifier les éventuels

freins à l'utilisation des acquis de la formation (ex : pas d'occasions d'appliquer ce qui a été

appris). Ce type de questionnaire est généralement complété par le formé lui-même et/ou

son manager. Pour des raisons pratiques (ex : taux de retour élevé, confidentialité préservé)

et de qualité du suivi de la formation, l'administration des questionnaires se fait générale-

ment en ligne (ex : Formaeva, LMS). L'un des répondants détaille le questionnaire spécifique

à l'organisation qu'il utilise dans ce cadre : « Tableau Excel dédié aux problématiques pra-

tiques de la société. Huit à dix questions dont la moitié au moins en questions ouvertes (afin

de donner des exemples concrets et vérifiables par tous : dossiers, noms du client, affaires,

litiges...) ».

Le plan d'actions post-formation personnalisé : si le formé peut prendre individuellement

des engagements à l'issue de la formation pour appliquer ce qu'il a appris, il peut aussi (et

cela est souhaitable) les fixer avec son manager, à l'occasion d'un entretien post-formation.

Durant cet entretien, il sera question des acquis de la formation, de leur utilisation à venir,

des projets que le formé pourrait mener dans ce cadre, des moyens que peut lui apporter le

manager pour réussir, etc. Les résultats de ce plan d'actions seront évalués à l'aide d'un ques -

tionnaire ou à l'occasion d'un entretien (généralement entre le formé et son manager). Cet

accompagnement du manager débute même, pour trois des répondants, par un entretien pré-

formation permettant de préciser à nouveau les besoins et attentes du formé, de rappeler les

objectifs de la formation et de discuter, d'ores et déjà, des possibilités d'application à venir.

Un processus d'évaluation idéal si l'on souhaite impliquer pleinement le manager dans la for-

mation et ne pas limiter son rôle à celui de « simple évaluateur ».

© Formaeva

Les entretiens : plus ou moins formalisés (ex : avec ou sans guide d'entretien), ils sont géné-

ralement conduits par le manager du formé ou, le cas échéant, son tuteur. Il s'agit d'une mé-

thode qualitative permettant, comme pour le questionnaire, d'évaluer la mise en œuvre des

acquis et d'identifier d'éventuels problèmes rencontrés par les formés.

L'entretien annuel d'évaluation : pour plusieurs répondants, l'évaluation du transfert est me-

née une fois l'an, dans le cadre de l'entretien annuel d'évaluation. « Normalement, cette éva-

luation fait partie de l'entretien annuel et elle est faite entre le formé et son manager,

éventuellement avec le RRH ». Bien que simple à mettre en œuvre, l'évaluation peut se révé-

ler trop imprécise (ex : l'évaluation porte sur des formations dont les effets peuvent se che-

vaucher ou qui ne se sont pas encore produits) et tardive (si l'on constate qu'il n'y a pas eu

transfert, il est trop tard pour rectifier le tir). L'évaluation prend alors la forme d'un bilan

mais ne permet pas de manager le transfert des acquis de la formation.

Le projet d'application : certains formations font l'objet d'une soutenance ou d'une présenta-

tion d'une réalisation concrète par le formé au formateur et à son manager, l'occasion de voir

si ce qui a été appris en formation a pu être appliqué dans le cadre de projets spécifiques.

L'un des répondants, appartenant à un OPCA, explique confier cette évaluation au forma-

teur : celui-ci réunit les formés à l'occasion d'une journée-bilan (organisée quelques temps

après la fin de la formation) durant laquelle il évalue si les objectifs personnels d'application

fixés par les formés à la fin de leur formation ont été atteints.

Analyse

Comme en 2010, nous ne pouvons que déplorer la rareté des pratiques d'évaluation du trans-

fert des acquis. Tout se passe comme si le simple fait de former garantissait la transposition

des acquis de la formation en situation de travail. Deux freins à la mise en œuvre de cette

évaluation demeurent inchangés :

L'absence d'objectifs comportementaux en amont de la formation : cela reste le principal

défini méthodologique de cette évaluation, mais si l'on ne fixe pas, en amont de la formation,

des objectifs clairs et concrets, observables et mesurables en situation de travail, nous ne

pourrons que nous contenter que d'une évaluation du transfert approximative, reposant sur

quelques questions génériques et/ou des engagements pris par les seuls formés. La meilleure

manière d'évaluer le transfert consiste donc à savoir précisément en amont ce qui sera atten-

du des formés en situation de travail (quels comportements devront-ils manifester en situa-

tion de travail ?).

La difficile implication du management : ce sujet mériterait une étude à part entière, tant

l'implication du management dans la formation de ses collaborateurs est aussi nécessaire que

difficile à obtenir. C'est ce que note l'un des répondants qui reconnaît que « Cette évaluation

doit être faite avec l'aide du N+1 qui manque bien souvent de temps pour mettre en pra-

tique cette évaluation ». Un autre pense que cela n'est pas pratiqué « car ce n'est pas dans la

© Formaeva

culture de l'entreprise ». D'expérience, nous pouvons affirmer que cette implication grandis-

sante du manager dans la formation et son évaluation est possible, dès lors que le processus

d'évaluation des formations est pensé et conçu pour être utile au manager et en faire un ac-

teur central. C'est ce qu'ont bien intégré les organisations qui prévoient dans leur processus

d'évaluation des formations un entretien pré-formation puis un entretien post-formation en

vue d'établir un plan d'actions, cohérent avec les objectifs de la formation.

© Formaeva

Niveau 4 : Résultats
Quel est l'impact de la formation sur les résultats de l'organisation ? Ce niveau d'évaluation

vise à estimer l'impact de la formation sur les indicateurs de résultats liés à la formation (ex

: accroissement des ventes suite à une formation commerciale, diminution des accidents de

travail suite à une formation sécurité, etc.).

Résultats

Évaluez-vous l'impact de la formation sur les résultats organisationnels
?
Non


A ce niveau, les répondants évoquent en très grande majorité leur volonté de démontrer la

valeur de la formation pour l'organisation, certains évoquant directement la notion de « re-

tour sur investissement de la formation ». Un prestataire de formation expliquer vouloir « Va-

loriser les apports de [sa] formation en termes factuels ». C'est donc à ce niveau d'évaluation

que l'on cherchera à démontrer et à chiffrer l'impact opérationnel de la formation. Seul un

répondant a confondu ce niveau d'évaluation avec les précédents, en affirmant que l'objectif

était ici de « juger les acquis et le taux de satisfaction des supérieurs hiérarchiques » (ce qui

ne relève pas du niveau 4, mais plutôt des niveaux 1, 2 et/ou 3).





45 % des formations 1 organisation


Le répondant ayant indiqué évaluer 45 % de ses formations au niveau 4 précise qu'il
s'agit essentiellement de formations commerciales et managériales. Les chiffres an-
noncés sont donc très variables, allant de 5 à 100 % des formations concernées.

© Formaeva

Quelle(s) période(s) retenez-vous pour suivre l'évolution des indica-
teurs ?

Les périodes retenues pour analyser l'évolution des valeurs des indicateurs de résultats sont

relativement hétérogènes : 2 mois après, 6 mois avant et 6 mois après, 4 à 6 mois après, 6

mois après, 3 mois avant et 12 mois après, analyse trimestrielle et comparaison éventuelle

avec les valeurs de l'année précédente (pour éliminer les variations saisonnières)... L'une des

bonnes pratiques est effectivement de raisonner en avant-après, par exemple en étudiant

l'évolution des indicateurs sur 12 mois (6 mois avant et 6 mois après la formation) et, le cas

échéant, en comparant ces valeurs avec celles des années précédentes (notamment pour les

formations commerciales visant un impact sur le chiffre d'affaires).

Qui suit l'évolution des indicateurs de résultats ?
Le formé
Le formateur
Autre(s)

Nous pouvons remarquer une certaine hétérogénéité quant aux acteurs responsables du suivi

des indicateurs au niveau 4 et, fait intéressant, la forte responsabilité accordée aux formés

qui doivent « auto-déclarer » l'impact de la formation sur leurs propres résultats. Classique-

ment se retrouvent dans la catégorie « Autre(s) » les commanditaires de la formation (ex : di-

rection commerciale).


La méthode la plus fréquemment employée pour évaluer le niveau 4 consiste à suivre l'évolu-

tion d'indicateurs de résultats, propres au métier des formés et/ou à leur entreprise (ex : réa-

lisations opérationnelles, montant des ventes, évolution des budgets, nombre de tickets

moyens traités par magasin, nombre et types de questions traitées par la hotline, etc.). L'un

des répondants déclare utiliser des indicateurs d'activités de formation (ex : nombre de for-

més, budget utilisé par type de formation), mais qui ne permettent pas, à notre sens, de dé-

montrer un quelconque impact opérationnel des formations (juste de suivre le volume d'acti-

vités de formation).

L'autre méthode, proche de celle utilisée pour le transfert, consiste en l'établissement d'un

plan d'actions par le formé et son manager visant l'atteinte d'objectifs opérationnels. L'éta-

blissement et le suivi de ce plan d'actions est réalisé à l'aide d'une solution d'évaluation en

ligne (ici Formaeva).

© Formaeva

Analyse

80 % des organisations interrogées ne pratiquent donc pas l'évaluation de niveau 4, bien que

cela soit une demande récurrente des directions générales que de disposer d'éléments

concrets attestant de l'utilité organisationnelle de la formation. Cette rareté des pratiques

est principalement la conséquence de difficultés méthodologiques : « Cela n'est jamais fait

car nous manquons de technique permettant d'isoler le facteur formation dans l'évolution

d'un indicateur ». Cette difficulté est bien réelle si l'on souhaite calculer le retour sur inves-

tissement de la formation (niveau 5 de Jack Phillips), mais n'a pas lieu d'être si l'on souhaite

démontrer le retour sur les attentes (ROE) de la formation. Cette seconde logique consiste en

effet à vérifier que les attentes des parties prenantes de la formation (matérialisées sous la

forme d'objectifs concrets) sont satisfaites, sans chercher isoler la part de la formation dans

l'obtention du résultat, tant il est vrai que le résultat ne peut être que collectif. La fonction

formation agit alors en véritable partenaire d'affaires, avec les opérationnels, pour obtenir les

résultats escomptés.

© Formaeva

Synthese etude-formaeva-2011

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Semelhante a Synthese etude-formaeva-2011

Semelhante a Synthese etude-formaeva-2011 (20)

Mais de pedagoform pedago

Mais de pedagoform pedago (7)

Synthese etude-formaeva-2011