Au Canada, on estime que 29 % des étudiants suivent au moins un cours en ligne durant leurs études universitaires, et que les inscriptions à de tels cours augmentent en moyenne de 8,75 % par année (Martel, 2015). Bien que de nombreuses études aient démontré qu’elle soit au moins aussi efficace que la formation traditionnelle (Bernard et al., 2004; Russel, 1999), la formation en ligne présenterait un taux d’abandon plus élevé qu’en formation traditionnelle : entre 25 % et 40 % comparativement à 10 % à 20 % sur campus (Levy, 2007). Un des objectifs premiers de l’analyse de l’apprentissage (learning analytics) consiste à aider les enseignants à identifier rapidement les étudiants à risque avant qu’il ne soit trop tard pour intervenir (Sclater et al., 2016). Même si l’analyse de l’apprentissage est encore à un stade de développement relativement précoce, il existe des preuves convaincantes qu’elle peut contribuer à améliorer la persévérance et la réussite (Sclater et al., 2016). L’objectif de cette communication est de définir le concept d’analyse d’apprentissage et de dresser un état des lieux des recherches menées jusqu’à présent, afin de conclure à savoir si ses prétentions concernant la persévérance et la réussite sont justifiées.

1. L’analyse de l’apprentissage
(learning analytics):
une revue de littérature
Audrey Bistodeau, CPA, CA, M.B.A.
Étudiante au doctorat en technologie éducative
Université Laval

2. Plan de la présentation
• Contexte
– La formation en ligne (FEL)
– La persévérance et la réussite en FEL
• L’analyse de l’apprentissage
– Définitions
– Cadre générique
– Fonctionnement et processus
– Exemples de tableaux de bord
– Résultats empiriques en contexte universitaire
• Projet de recherche

3. Formation en ligne
Croissance de la formation en ligne (FEL) (Martel, 2015; CSE, 2015) :
• 29% des étudiants inscrits à au moins 1 cours en ligne;
• Inscriptions ont doublé au Québec entre 2001 et 2012;
• Croissance annuelle de 8,75% par année.
Perspectives de développement (CSE, 2015) :
• 4 universités ont inscrit le développement de la FEL dans leur plan
stratégique (Laval, Concordia, UQTR, UQAR);
• 4 universités démontrent une volonté de développer la FEL
(Montréal, Sherbrooke, UQAT, UQAC);
• 8 universités qui ont un usage modeste de la FEL
(UQAM, McGill, ETS, Bishop, HEC, Polytechnique, UQO).

4. Persévérance et réussite
en formation en ligne
• Taux d’abandon en deux fois plus nombreux en FEL : entre 20%
et 40%, comparativement à 10% à 20% sur campus. (Levy, 2007)
• ULAVAL: 9,5% comparativement à 5,3% (Paquelin, 2016)
Persévérance
• Taux d’échec de 10% à 20% plus élevé en FAD (Marchand et al., 2012).
• ULAVAL: 5,4%, comparativement à 4,0% (Paquelin, 2016)
• 35% plus élevés
Réussite

5. Analyse de l’apprentissage
• Contexte
– Implantation des ENA = traces de données numériques
• Les données d'utilisation de l’environnement numérique d’apprentissage (ENA) prédisent
fortement la réussite (Macfadyen & Dawson, 2010)
– Influence du Big Data et Business Intelligence
• Communauté scientifique
– Society for Learning Analytics Research (SOLAR)  2011
– International Conference on Learning Analytics and Knowledge  2011
– Journal of Learning Analytics  2014
– Learning Analytics Community Exchange (LACE)  2014

6. Définitions
Exploration de
données
éducationnelles
(Educational data
mining)
Analyse
académique
(Academic
analytics)
Analyse de
l’apprentissage
(Learning
analytics)
Application de l’informatique décisionnelle
(business intelligence) à l’éducation. À un
niveau institutionnel, régional ou national
Mesure, collecte, analyse et communication
de données sur les apprenants et leurs
contextes, afin de comprendre et d'optimiser
l'apprentissage et son environnement
Extraction et analyse des données
pertinentes dans les mégadonnées (big data)
pour développer des modèles prédictifs Bienkowski et al. (2012),
Long & Siemens (2011),
Van Barneveld et al. (2012)
Tableau de bord de
l’apprentissage (learning
analytics dashboard)

7. Cadre générique
Établissement
Enseignants
Autres
Compétences
Étudiants
Acceptation
Éthique et
confidentialité
Lois
EDE
Visualisation
Statistiques
Autres
Réflexion Prédiction Libres Protégées
Limites internes Contraintes externes
Objectifs Données
Partiesprenantes
Techniques
Greller & Draschler (2012)
[Traduction libre]

8. Fonctionnement et processus
Cycle de l’analyse de l’apprentissage Processus réflexif du tableau de bord
Étudiants
Données
Analyses
Interventions
Clow (2012) Verbert et al. (2013)

9. Exemples de tableau de bord
Course Signals (Purdue University)
https://news.uns.purdue.edu/images/+2009/signals-screen.jpg
Algorithme basé sur
• Résultats d’évaluations
• Activité dans l’ENA
• Antécédents scolaires
• Profil démographique

10. Exemples de tableau de bord
OU Analyse (Open University)
https://analyse.kmi.open.ac.uk/

11. Exemples de tableau de bord
Ma réussite à l’Université Laval
https://www.enseigner.ulaval.ca/system/files/appui_reussite_-_fonctionnalites_offertes_aux_enseignants_vf_2016.pdf
Vue de l’étudiant

12. Exemples de tableau de bord
Ma réussite à l’Université Laval
https://www.enseigner.ulaval.ca/system/files/appui_reussite_-_fonctionnalites_offertes_aux_enseignants_vf_2016.pdf
Vue de l’enseignant

13. Études empiriques
en contexte universitaire
1
2 1
6
5
3
6
22
14
0 5 10 15 20 25 30
Est utilisée de façon éthique
Est déployée à grande échelle
Améliore le soutien à l'apprentissage et à
l'enseignement
Améliore les résultats d'apprentissage
Nombres d’études qui soutiennent que l’analyse de l’apprentissage…
Négatif
Neutre
Positif
Ferguson & Clow (2017)

14. Effets sur la réussite
• Les étudiants exposés au tableau de bord obtiennent de
meilleures notes finales que ceux qui n’y sont pas exposés
(Arnold & Pistilli, 2012; Baron, 2013; Chen et al., 2008; Fritz, 2011; Kim, Jo & Park, 2016).
Augmentation
de 10%
Diminution
de 6%
A
et
B
D
et
E
C ou +
• Certaines études n’ont cependant relevé aucune différence
significative dans les notes (Kobsa et al. 2005; Park & Jo, 2015; Ott et al. 2015).

15. Effets sur la persévérance
• Taux de rétention plus élevés pour les cohortes exposées à Course Signals
comparativement aux autres (Arnold & Pistilli, 2012).
83%
73%
70%
69%
97%
95%
91%
87%
98%
99%
97%
93%
ANNÉE 1 ANNÉE 2 ANNÉE 3 ANNÉE 4
TAUX DE RÉTENTION SELON LE NOMBRE DE COURS UTILISANT CS
Aucun Au moins 1 2 ou plus
• Nombre d’abandons plus élevé dans les groupes ayant été exposés au
tableau de bord que dans le groupe contrôle (Baron, 2013; Herodotou et al., 2017).

16. Autres effets indirects
Satisfaction envers le cours plus élevés (Kim et al., 2016).
Demandes d’aide plus tôt et plus souvent (Arnold & Pistilli, 2012).
Améliore l’auto-évaluation, la réflexion et l’autorégulation (Grann & Bushway, 2014;
Kerly, Ellis, & Bull, 2007; Scheuer & Zinn, 2007).
Amélioration des relations entre les étudiants et les enseignants (Sclater, 2016).
Augmentation de l’utilisation de l’ENA et du nombre d’activités
d’apprentissage complétées par les étudiants (Chen et al. 2008).

17. Projet de recherche
• « Ma réussite » à l’Université Laval
– Implantation à l’hiver 2015, sur base volontaire (1er cycle);
– Automne 2016: 973 cours, 791 enseignants, 23 377 étudiants.
• Objectifs:
1. Permettre aux étudiants de prendre conscience de leur niveau de
participation et de leurs résultats dans leurs cours;
2. Orienter les étudiants vers des ressources d’aide appropriées;
3. Permettre aux intervenants d’être proactifs auprès des étudiants.
https://www.enseigner.ulaval.ca/appui-a-l-innovation/appui-la-reussite-et-depistage-des-etudiants-en-difficulte

18. Projet de recherche
Questions de recherche
• Quelle est l’utilisation et la perception des étudiants et enseignants de cours en ligne
de premier cycle de l’outil d’analyse de l’apprentissage Ma réussite à l’Université Laval?
• Le modèle UTAUT peut-il expliquer l’acceptation et l’utilisation de cet outil?
Objectifs de recherche : outil Ma réussite
1. Décrire le profil des étudiants et enseignants qui l’utilisent ou non;
2. Décrire l’utilisation par les étudiants et les enseignants;
3. Décrire les perceptions des étudiants et enseignants quant à sa facilité d’utilisation;
4. Décrire les perceptions des étudiants et enseignants quant à son utilité globale et à
l’utilité de chacune des données rapportées;
5. Vérifier le modèle UTAUT pour expliquer son acceptation et son utilisation;
6. Explorer les relations entre l’utilisation des étudiants et la persévérance/réussite.

19. Bibliographie
Arnold, K. E., & Pistilli, M. D. (2012). Course signals at Purdue: using learning analytics to increase student success.
In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 267-270). ACM.
Baron, J. (2013). Open Academic Analytics Initiative : Final progress report. Récupéré de
https://confluence.sakaiproject.org/download/attachments/75671025/OAAI Final Progress
Report.pdf?version=1&modificationDate=1391705397000&api=v2
Bienkowski, M., Feng, M., & Means, B. (2012). Enhancing teaching and learning through educational data mining and
learning analytics: An issue brief. US Department of Education, Office of Educational Technology.
https://doi.org/10.2991/icaiees-13.2013.22
Chen, G. D., Chang, C. K., & Wang, C. Y. (2008). Ubiquitous learning website: Scaffold learners by mobile devices with
information-aware techniques. Computers & Education, 50(1), 77–90.
https://doi.org/10.1016/j.compedu.2006.03.004
Clow, D. (2012). The Learning Analytics Cycle: Closing the loop effectively. In ACM (Ed.), Proceedings of the 2nd
International Conference on Learning Analytics and Knowledge (pp. 134–137).
https://doi.org/10.1145/2330601.2330636
Conseil supérieur de l’education (CSE). (2015). La formation à distance dans les universités québécoises : un potentiel
à optimiser de l'éducation. Récupéré de
https://www.cse.gouv.qc.ca/fichiers/documents/publications/Avis/50-0486.pdf
Dorais, S. (2001). L’atteinte des objectifs liés au rendement des élèves et à leur cheminement sur les plans scolaire et
professionnel au Centre collégial de formation à distance (Critère 3.1). Document interne du Collège de
Rosemont, 15 p.
Ferguson, R., & Clow, D. (2017). Where is the evidence? A call to action for learning analytics. In Proceedings of the
Seventh International Learning Analytics & Knowledge Conference (pp. 56–65). ACM.
https://doi.org/10.1145/3027385.3027396

20. Bibliographie
Fritz, J. (2011). Classroom walls that talk: Using online course activity data of successful students to raise self-Greller,
W., & Drachsler, H. (2012). Translating Learning into Numbers : A Generic Framework for Learning Analytics.
Educational Technology & Society, 15(3), 42 – 57. https://doi.org/http://hdl.handle.net/1820/4506awareness
of underperforming peers. The Internet and Higher Education, 14(2), 89-97.
Grann, J., & Bushway, D. (2014). Competency Map: Visualizing Student Learning to Promote Student Success. In
Proceedings of the Fourth International Conference on Learning Analytics and Knowledge (pp. 168–172). ACM.
https://doi.org/10.1145/2567574.2567622
Herodotou, C., Zdrahal, Z., Rienties, B., Hlosta, M., Boroowa, A., & Naydenova, G. (2017). Implementing Predictive
Learning Analytics on a Large Scale: The Teacher’s Perspective. In Proceedings of the 7th International
Conference on Learning Analytics and Knowledge. ACM. https://doi.org/10.1145/3027385.3027397
Kerly, A., Ellis, R., & Bull, S. (2007). CALMsystem: A Conversational Agent for Learner Modelling. Knowledge-Based
Systems, 21(1), 238–246. https://doi.org/10.1016/j.knosys.2007.11.015
Kim, J., Jo, I.-H., & Park, Y. (2016). Effects of learning analytics dashboard: analyzing the relations among dashboard
utilization, satisfaction, and learning achievement. Asia Pacific Education Review, 17(1), 13–24.
https://doi.org/10.1007/s12564-015-9403-8
Kobsa, E., Dimitrova, V., & Boyle, R. (2005). Using Student and Group Models to Support Teachers in Web-Based
Distance Education. In Proceedings of the 10th international conference on user modeling (pp. 124–133).
Springer.
Long, P., & Siemens, G. (2011). Penetrating the Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE
Review, 46(5), 31–40. Récupéré de https://net.educause.edu/ir/library/pdf/ERM1151.pdf
Macfadyen, L. P., & Dawson, S. (2010). Mining LMS data to develop an “early warning system” for educators: A proof
of concept. Computers &Education, 54(2), 588−599.

21. Bibliographie
Marchand, L., Loisier, J., Paul-Armand Bernatchez, coordonnateur, Bourret, S., Huneault, M., Doucet, C., &
Bernatchez, P.-A. (2002). Guide des pratiques d’apprentissage en ligne auprès de la francophonie
pancanadienne. Récupéré de http://archives.refad.ca/pdf/Guide_pratiques_apprentissage.pdf
Martel, C. (2015). Online and distance education capacity of Canadian universities. Montreal, QC
Ott, C., Robins, A., Haden, P., & Shephard, K. (2015). Illustrating performance indicators and course characteristics to
support students’ self-regulated learning in CS1. Computer Science Education, 25(2), 174–198.
https://doi.org/10.1080/08993408.2015.1033129
Park, Y., & Jo, I.-H. (2015). Development of the Learning Analytics Dashboard to Support Students’ Learning
Performance. Journal of Universal Computer Science, 21(1).
Paquelin, D. (2016). D’une université campus à une université multi-modale: Analyse d’une dynamique québécoise,
le cas de l’Université Laval. Distances et Médiations Des Savoirs, 16(Décembre 2016).
Sclater, N., Peasgood, A., & Mullan, J. (2016). Learning Analytics in Higher Education: A Review of UK and
International Practice. Récupéré de https://www.jisc.ac.uk/reports/learning-analytics-in-higher-education
Scheuer, O., & Zinn, C. (2007). How did the e-learning session go? The Student Inspector. Frontiers in Artificial
Intelligence and Applications, 158.
Van Barneveld, A., Arnold, K. E., & Campbell, J. P. (2012). Analytics in higher education: Establishing a common
language. EDUCAUSE Learning Initiative, 1(1), 1–11. https://doi.org/10.1111/j.1468-2273.2009.00438.x
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning Analytics Dashboard Applications
Background. American Behavioral Scientist, 57(10), 1500–1509. https://doi.org/10.1177/0002764213479363