Ce diaporama est le support de présentation de l'article suivant : M. Magnin et G. Moreau. Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique. Communication scientifique. Dans : 7ème Colloque International Technologies de l’Information et de la Communication pour l’Enseignement (TICE), 8 pages, Nancy-Metz, Décembre 2010. L'article, téléchargeable sur http://eat-tice.ec-nantes.fr/?p=471, concerne l’utilisation des tests de concordance de script (TCS) en informatique, écrit par Guillaume Moreau et moi-même. Les TCS constituent un outil pour évaluer les compétences des étudiants face à des problèmes ouverts. Notre expérience était la première menée en dehors du cadre de la médecine (dont ils proviennent). Nous comptons désormais assurer leur dissémination à l’échelle nationale, mais aussi les étendre à d’autres domaines.

1. Utilisation des TCS en informatique
Utilisation des TCS pour l’évaluation
en informatique
Morgan Magnin, Guillaume Moreau
http://eat-tice.ec-nantes.fr
contact : eat-tice@ec-nantes.fr

2. Plan
 Motivations du projet
 Les TCS
 Exemples
 Retour sur expérience
 Perspectives
2

3. Contexte : enseignement de
l'informatique
 Centrale Nantes
> Tronc commun : informatique pour l'ingénieur
• on ne forme pas des informaticiens
• proportion non négligeable de public allergique à
l'informatique
• cours électifs : attractivité, ouverture  attirer les non-geeks
> Option informatique : coloration (600h)
• contenu plus technique
 2 types de cours
> Algorithmique, programmation
> Systèmes d'information, Web strategy & development
3

4. Evaluation
 Cours techniques
> TP, projets
> Difficultés : volume, fraude
> Eléments de solution
• corrections électroniques : Tablet PC
• Projet MarkUs
• QCM+
 Cours moins techniques
> Etude de cas : pb du volume, note globale
> Connaissances : QCM, questions ouvertes
> Quid des compétences ?
4

5. Contexte
 Objectif : assurer une meilleure évaluation du
savoir-faire en informatique
 Projet UNIT :
> Centrale Nantes
> les Ecoles des Mines de Nantes, d'Alès et de Douai,
> l'INSA de Rouen,
> l'Université de Bordeaux 2
5

6. Les TCS (1)
 Tests de concordance de script
 Instrument d'évaluation du raisonnement en
contexte d'incertitude
 Complémentaires des procédures d'évaluation
« traditionnelles »
 Issus du secteur médical – Université de
Montréal
> aider à poser un diagnostic
6

7. Les TCS (2)
Image tirée de http://www.cme.umontreal.ca/tcs/
7

8. Les TCS (3)
 Evaluation
> Confier le TCS à un panel d'experts
> Score de l’étudiant proportionnel au nombre d’experts
ayant choisi la même réponse
 Évalutoile : http://www.evalutoile.u-bordeaux2.fr/
8

9. Exemples
 Système d'information
> au delà de la théorie, multidisciplinaire
> relève de la problématique de l'ingénieur généraliste
 Droit de l'informatique
> Texte, jurisprudence, lacunes…
 Programmation
> la complexité crée la situation en apparence non-
déterministe
> débogage : commence par un diagnostic
9

10. Exemple 1a : énoncé
 Scénario : Vincent et Laurence réservent tous deux une place
dans le train Nantes-Paris de 19h00 le 24 juin 2010. Lors de
leur arrivée à la gare, ils se retrouvent avec la même place
dans le même wagon.
 Hypothèse / Option : Vous supposez que le logiciel de réservation
comporte un bug au niveau de la vérification d’attribution des
places.
 Nouvelle donnée : Le problème ne se produit qu’une fois par an.
 Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
□ Rend l'hypothèse beaucoup moins probable
□ Rend l'hypothèse moins probable
□ N'a aucun effet sur l'hypothèse
□ Rend l'hypothèse plus probable
□ Rend l'hypothèse beaucoup plus probable
Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
10

11. Exemple 1 : réponses
 Réponses
Experts Étudiants
> classique : exclusion mutuelle
0% 19%
• d'où la probabilité faible
0% 19%
> différents points de vue… 55% 27%
• pb : rédiger la question ! 22% 23%
> éviter les réponses binaires 22% 11%
• retour au QCM
11

12. Exemple 1b : énoncé
 Scénario : Pour payer les enseignants non-
permanents de l’Ecole, le secrétariat Général
édite la liste des vacataires à partir du système
d’information. Lors de cette édition, Luc Baudoin
apparaît deux fois
 Option : Si vous pensez à :
> un doublon dans la base de données
 Nouvelle donnée : la date de naissance est
différente
12

13. Exemple 1b : réponses
 2 grands types d'hypothèses :
> simple homonymie
> erreur sur une ou plusieurs dates de naissance
 Mais aussi :
> homonymie + même date 70%
60%
> Erreur de saisie des noms 50%
 Possibilité de dériver : 40%
expert
30%
> Luc Baudoin et L. Baudoin 20% étudiant
> modifier nouvelles données 10%
0%
-2 -1 0 +1 +2
13

14. Exemple 2
 Scénario : Vous venez d'être nommé Correspondant
Informatique et Liberté dans votre entreprise. Parmi les
adresses e-mail figurant dans les fichiers de prospection
publicitaire de l'entreprise, vous soupçonnez que certaines ont
été collectées sans l'accord préalable des personnes à
recevoir des messages commerciaux. Mais les fichiers ne
contiennent aucune information sur le fait que les personnes
ont - ou non - donné leur consentement.
 Option : Si vous pensez à :
> Il est nécessaire de supprimer l'intégralité des fichiers d'adresses e-
mail.
 Nouvelle donnée : Vous apprenez que ces adresses e-mail
appartiennent majoritairement à des personnes morales. Le
reste des adresses e-mail appartiennent à d'anciens clients de
l'entreprise.
14

15. Exemple 2 : réponses
 La réponse pourrait être une exclusion totale de
l'hypothèse
> Le droit français accorde l’autorisation de prospecter
par courriel - sans accord préalable - des personnes
morales et d'anciens clients n'ayant pas manifesté leur
refus par une demande de désinscription
> on ne sait pas s'il y a eu des demandes de
désinscription
 Ce n'est pas le cas
> Difficulté de trouver des experts
> Difficulté à utiliser certaines parties des échelles
15

16. Exemple 3 : énoncé
 Scénario : Alexandre et Antoine ont écrit chacun
la moitié du programme dans deux fichiers x.c et
y.c. Une fois compilé correctement et les liens
édités sans problème, le programme plante
 Option : Si vous pensez à :
> Alexandre a tort car il est habituellement moins fort en
programmation
 Nouvelle donnée : Antoine a vérifié le
fonctionnement de toutes ses fonctions
16

17. Exemple 3 : réponses
 Cas classique pour les enseignants
 On fait appel aux notions de tests unitaires
versus tests d'intégration, voire de chaîne de
génie logiciel
 Pas de conclusion évidente sans autre apport
 Extension possible :
> question courte : que faire pour affiner le diagnostic ?
17

18. Bilan intermédiaire du projet à
Centrale Nantes
 64 vignettes créées
 Première expérimentation sur l'examen de
« Systèmes d'information »
> 26 juin 2009
> 108 étudiants
> Évaluation d'après un panel de 9 experts
> Biais expérimental : justification des choix demandée
aux étudiants
 Expérimentation reconduite le 28 juin 2010, et
désormais élargie à d’autres enseignements
18

19. Conclusions partielles
 Pas simple à évaluer : il faudrait deux demi-promos
évaluées avec et sans TCS
> compensé par les lignes d'explication
 Évaluation du raisonnement et du savoir-faire
> Pertinent
> Efficace
 Particulièrement adapté pour :
> Diagnostic
> Conception
 Efforts sur l'écriture des vignettes : objectivité
(décontextualisation), problème de la langue
19

20. Plan de mise en oeuvre de TCS
 Acquisition du savoir-faire en termes de TCS
 Établissement du référentiel de compétences
 Conception de questions
 Saisie des questions
 Recueil de l’expertise
 Expérimentations
 Retour éventuel sur la rédaction de certaines
questions → itération
20

21. Recommandations autour des
TCS (1)
 Convaincre les enseignants de la pertinence des
TCS pour évaluer des compétences
> plus facile à écrire qu'un QCM, tout aussi facile à
corriger
> plus de réflexion : pas de situation simple
> pas toujours pas facile de parler de compétences…
 Situer la complémentarité des TCS par rapport
aux :
> QCM
> Exercices "classiques"
21

22. Recommandations autour des
TCS (2)
 Envisager une rédaction collective des vignettes
> limite la "contexualisation"
> plus efficace que la relecture pour affiner le texte
 Pour une utilisation en évaluation
> coupler à une justification très courte
> Valide la compétence de l'élève et le TCS !
 Elargir le panel d'experts en dehors de l'établissement
 Ne pas oublier que les cas simples (réponses binaires)
sont des QCM
 Réutiliser !
> dériver les TCS existants en changeant hypothèses et nouvelles
données
> D'une année sur l'autre, d'une matière à l'autre
22

23. Utilisation pratique
 En TD/TP
> Confronter l'étudiant à des situations réalistes
> Identifier les failles dans le raisonnement de l'étudiant
 En auto-évaluation
> Vérification de l'acquisition de compétences
 En examen
> Validation de compétences "fondamentales"
23

24. Bilan
 Première mise en œuvre réelle des TCS en
dehors du monde médical
 Dispositif adopté par l'équipe pédagogique pour
l'évaluation de compétences
 Savoir-faire en termes d'écriture de vignettes
 Utile pour l'évaluation des compétences pour le
C2i2mi ?
24

25. Perspectives
 Poursuite de l'écriture de vignettes et
généralisation
 Confrontations de l'expérience avec le secteur
médical
 Extension au niveau M
 Application à d'autres domaines
> diagnostic
> problèmes ouverts
25

26. Quelques références
bibliographiques
 Blog EAT-TICE Centrale Nantes :
http://eat-tice.ec-nantes.fr
 Site de référence sur les TCS en médecine :
http://www.cme.umontreal.ca/tcs/
 Les motivations des TCS en informatique :
http://tinyurl.com/tcs-unit
 Conférence de Bernard Charlin :
> Canal U : http://tinyurl.com/bcharlin-tcs
> Supports : http://tinyurl.com/bcharlin-slides
26

27. Contact et informations
 Contacts
> Guillaume.Moreau@ec-nantes.fr
> Morgan.Magnin@ec-nantes.fr
 Informations
> Blog : https://pedagogie.ec-nantes.fr/tablet-pc/
> Blog : http://eat-tice.ec-nantes.fr
27