De retour du congrès Educause 2018 à Denver, analyse de l'emploi des Learning Analytics dans les universités américaines. Présentation à RUE 2018, Paris, 22 novembre 2018

1. Y. Epelboin RUE 2018, Paris 22-23/11/2018
Retour des USA :
les Learning
Analytics
Yves Epelboin, Emeritus Professor UPMC-Sorbonne Université
Délégation française à Educause 2018
Pour comprendre : état de l’enseignement
supérieur aux US
Le coût inacceptable des études universitaires
• Dette totale des étudiants 1,500 Milliards $
https://www.forbes.com/sites/zackfriedman/2018/06/13/student-loan-
debt-statistics-2018/#3927edc17310
• Emprunt moyen 23 000 $ en 2004, 35 000 $ en 2017

2. 2 Y. Epelboin RUE 2018, Paris 22-23/11/2018
• 800 000/an sortent des universités publiques avec une dette significative
dès le niveau du bachelor
https://www.nytimes.com/2018/07/11/your-money/student-loan-debt-
parents.html?mkt_tok=eyJpIjoiTXpJellXUmlNek0yWW1WbCIsInQiOiJraH
hrbjBTMkkzNXZIQjZ3M1QxcHk1WkhGUEFzclhLRGE2NGUrQUtjMnYzWEN
xYnNQdmk4V1hSbzBqckx5NkI1WkI4RXZ3Q1llYWtITElNSkVqTFZXXC9w
WWEyUUpseFhzS1dBcWJDNWtFUWRBcXE0aFdPWm5YMHUrZUsxYjlwY2
UifQ%3D%3D
• Chute des subventions d’état – de 50% il y a quinze ans à 10-15%
aujourd’hui
https://www.urban.org/sites/default/files/publication/72576/2000500-
financing-public-higher-education-the-evolution-of-state-funding.pdf
• Décroissance du nombre d’étudiants étrangers qui payent plein pot,
suite à la politique des visas de l’administration Trump
• Une réforme fiscale défavorable pour les dons aux universités
• Inscription couramment 45 000 $/an dans une bonne université d’état
(dormitory compris. Exemple de UBC)
• Interrogation de plus en plus forte sur le bénéfice d’entreprendre des
études et des longues en particulier
• Chute des inscriptions en études littéraires et sciences sociales qui va
jusqu’au point que les grands employeurs doivent rappeler leur intérêt
Les solutions envisagées :
• Réduire les couts en supprimant la part campus : enseignement en
ligne, héritier des MOOC ,
• Introduction de cours en ligne, sur les campus, pour les enseignements
les plus massifs (protestation des étudiants de UCF récemment qui
réclament le retour de cours en amphithéâtre)
• Recourir à des enseignants moins qualifiés (chute du nombre de tenure)

3. 3 Y. Epelboin RUE 2018, Paris 22-23/11/2018
• Optimiser l’expérience des clients étudiants, c’est à dire introduire la
notion de retour sur investissement
Optimiser son expérience universitaire
1. Optimiser le cursus en proposant aux étudiants de faire leur choix dans un
menu à la carte et non dans un menu tout compris (voir rapport Educause
2017
https://formation.unpidf.fr/fichier/p_media/68/media_file_rapport.ecrit.edu
cause.2017.hd.pdf).
Micro unités et micro degrés : Jim Hundrieser, associate managing principal
pour la stratégie institutionnelle de l’Association of Governing Boards, « cela
revient à mettre fin à l’obligation d’acheter un CD de musique entier lorsqu’on
est intéressé uniquement par une ou deux chansons ».
Payer pour ce qui est « utile »
2. Étudier à son propre rythme pour éviter les échecs et leur coût
Le rôle des learning analytics :
1. Optimiser ses études, c’est à dire choisir juste les cours nécessaires à ses
objectifs donc diminuer le coût : étudier à son propre rythme :
learning analytics institutionnelles basées essentiellement sur les
données des SIE.
2. Avoir accès à des indicateurs de performance en temps réel permettant aux
différentes personnes concernées (tuteurs, étudiants, professeurs) de
comprendre l’évolution de l’apprentissage et de la compréhension du
cours :
tableaux de bord construits à partir de sources diverses et variées
3. Adapterl’apprentissage à chaque individu :

4. 4 Y. Epelboin RUE 2018, Paris 22-23/11/2018
adaptive learning : Learning analytics issus d’un LMS spécialisé pour
adapter l’avancée dans un cours à chaque personne.
Les learning analytics institutionnelles
Source : le SIE (système d’information étudiants).
• En fonction de son profil des micromodules (micro degrés) sont
proposés à l’étudiant, afin d’acquérir le diplôme recherché : optimisation
de son contrat d’étude.
• Confusion parfois avec les indicateurs de performance.
• Analyse pour les entrants basée sur les données du SIE avec en plus des
éléments sociologiques (ethnie, ressources et milieu social des parents,
voire le lycée pour les community colleges)
• Recours à l’IA (deep learning) pour cette analyse en reprenant
l’historique des étudiants des années précédents. Nombreuses sociétés
proposant des outils (voir le rapport Educause 2018 à venir pour leur
présentation)
• Interrogation cependant sur le rôle de l’IA (black box fournies par les
vendeurs de solutions) : Georgetown , Madison… Ce qui est vrai pour
une institution l’est-il toujours pour une autre
• Construction d’outils dynamiques de choix de parcours (U. Washington,
vendeurs).
• Pb du ressenti pour les étudiants « lents » : aspects psychologiques qui
s’ajoutent aux aspects financiers (plus de modules à acquérir = plus de
dépenses)
• Généralisation de plus en plus de tels outils.
➡︎ Pas d’indication sur l’efficacité et l’économie réelle pour les étudiants
➡︎ Interrogation sur la valeur des micro degrés vis à vis des employeurs

5. 5 Y. Epelboin RUE 2018, Paris 22-23/11/2018
Une généralisation qui apporterait :
• Une certaine efficacité (taux d’échec mesuré – 5-10%) dans les modules
• Moins d’abandons avant l’obtemption du diplôme final (5-10% mais pas
encore vraiment démontré)
• La possibilité d’étudier à son propre rythme (selon ses moyens aussi !)
• La comparaison à ParcourSup pour les « oui si » est ouverte : ne pas
s’attendre à résoudre complétement le problème des échecs en L1, juste
le diminuer.
Mais cela nécessite une restructuration complète des unités de cours en micro
cours pour offrir la flexibilité nécessaire. (Mentionner l’expérience antérieure
du MIT dès 2015 pour permettre de basculer aisément de cours présentiels à
des cours en ligne)
Tableaux de bord
• Agréger des données de sources diverses.
• Encore expérimental mais se généralise (Wisconsin, Oregon…).
• Présence des entreprises sur ce marché.
• En moyenne plus de 6.3 sources de données
o Présence aux cours
o Usage carte étudiant (card swipe)
o Ressources électroniques utilisées
o Emprunts bibliothèque
o Présence et usage des lieux sociaux (learning spaces, fab labs,
sport…)

6. 6 Y. Epelboin RUE 2018, Paris 22-23/11/2018
Conclusions :
• Il apparaît une relation directe entre succès et usage du tableau de bord
MAIS ce sont les plus sérieux qui l’emploient. Cela ne mesure donc pas
directement l’aide apportée.
• Quid de l’efficacité contre l’échec ? Pas plus de 5 -10% mais peu clair
pour l’instant.
• Y-a-t-il une étude sur la pertinence des sources ?
• Comment fonctionnent les moteurs IA ? En ce qui concerne les
industriels pas de réponse.
• Pb de la privauté des données et du RGPD. Les américains sont moins
sensibles à cela que les Européens ou les Canadiens : pas envisagé à U.
British Columbia (Vancouver) car la loi est très stricte) : « c’est
politique »
• Questions mal résolues :
o Tableaux de bord pour qui : étudiants concernés, parents, tuteurs,
professeurs ?
o Nécessité du consentement
o Réponses variées et évolutives
Les USA ne semblent pas en avance par rapport à certains pays d’Europe (UK,
Norvège…) : voir abstracts EUNIS 2018 et séminaire LA EUNIS de Novembre
2018 à Helsinki :
http://www.eunis.org/eunis2018/papers/
http://www.eunis.org/blog/2018/11/14/eunis-learning-analytics-event-
outputs/
Voir aussi, en France, université de Lorraine et de Rennes.

7. 7 Y. Epelboin RUE 2018, Paris 22-23/11/2018
Adaptive learning
Objet : Construire un cours dynamique en fonction des réactions et du
comportement de l’étudiant dans ce cours
• Encore expérimental. Des consortiums financés pour cela. Ex : Arizona
SU, Colorado SU, Georgia SU, Northern Arizona U, Oregon SU, Portland
SU, U. Louisville, U. Mississipi
• Nécessite un LMS adapté fourni par un des nombreux vendeurs
(Knewton, Pearson, Lumen, McGrawHill, BrightSpace, CogBooks,
Realizeit, …)
• Deux types de plateformes :
o Cours en ligne prêts (Pearson MyLab et Mastering par exemple)
disponibles dans des matières diverses : le livre en ligne de main ?
o Plateformes à remplir. Chaque plateforme a sa méthode.
Mais le contexte américain est différent du français :
• Les universités américaines emploient plutôt des documents en
provenance d’éditeurs (OER en développement mais pas encore très
répandu).
• Pb : les étudiants achetaient les livres, ils doivent maintenant aussi
acheter la plateforme. On n’a pas diminué les coûts de ce point de vue
mais les diplômes sont obtenus plus efficacement.
Problèmes :
• Les étudiants ne passent pas forcément plus de temps à étudier
« Propensity to engage with Internet than real learning ».
• Pb des étudiants qui se retrouvent avec des parcours dans le cours plus
longs

8. 8 Y. Epelboin RUE 2018, Paris 22-23/11/2018
• Les enseignants agissent sur des boutons pour personnaliser les cours
mais possibilités limitées et pas d’explications claires sur ce à quoi cela
correspond (blackbox)
Efficacité :
• jusqu’à 90% des étudiants vont à la fin du cours. Taux d’abandon réduit
significativement (- 10-15%)
• Plus d’étudiants ont réussi l’examen final : + 5-10%.
• possibilité pour le professeur de réagir en temps réel (semaine par
semaine) pour repêcher les étudiants en difficulté.
Conclusions
• Bien comprendre les motivations des universités américaines :
o Optimisation des études (rapport employabilité/coût)
• Une efficacité contre l’échec très mesurée, à confirmer
• LA pour construction d’un parcours d’étude (at your own pace) signifie
de devoir revoir complètement le découpage des cours
• Tableaux de bord : se généralisent mais ne semblent pas résoudre
complètement le problème de l’échec. Comme auparavant dans l’usage
des technologies on retrouve le fait que ceux qui réussissent réussissent
mieux
• Cours adaptif : expérimental. Coût très élevé. Envisageable uniquement
dans une stratégie de mutualisation avec les UNT. Encore faudra-t-il fair
le choix d’un moteur et apprendre à l’utiliser.
Les LA, comme n’importe quelle autre technologie, permettent d’étudier mieux
mais ne suffiront pas, à elles seules, à résoudre le problème de l’échec et des
abandons dans les études supérieures.

9. 9 Y. Epelboin RUE 2018, Paris 22-23/11/2018