Un développement des compétences plus efficace grâce à l’adaptive learning : projet Harvard-Microsoft

Cet article est une traduction de « More optimal skill development with adaptive learning: Harvard-Microsoft project » écrit par Yigal Rosen, Ilia Rushkin et Andrew Ang sur le blog de l’université d’Harvard.

Yigal Rosen et son équipe nous démontre dans cet article comment l’adaptive learning peut améliorer le processus d’apprentissage tout en diminuant le taux d’abandon dans le cadre du suivi d’un MOOC par un apprenant.

Cette étude réalisée conjointement par Harvard et Microsoft peut être consultée dans son intégralité en anglais via le lien suivant : “The Effects of Adaptive Learning in a Massive Open Online Course on Learners’ Skill Development”.

Adaptive Learning Open-Source Initiative

Malgré la promesse de l’adaptive learning (apprentissage adaptatif), de nombreux modèles et algorithmes utilisés pour développer l’adaptive learning sont en fait peu transparents et compréhensibles (via l’approche « boîte noire » [algorithme dont on ne connaît pas les caractéristiques internes; NDLR]), tout comme les preuves d’efficacité de l’adaptive learning.

Harvard s’est associée à Microsoft pour développer ALOSI (Adaptive Learning Open-Source Initiative), l’initiative open-source pour l’adaptive learning.

ALOSI a été déployé dans le MOOC de Microsoft sur edX.org « Statistiques essentielles pour l’analyse de données sur Excel » et sera déployé prochainement dans les MOOC HarvardX et sur plusieurs autres cours disponibles pour les internes de l’université Harvard.

ALOSI est une technologie d’adaptive learning open source et un socle commun qui permet de mesurer la progression des acquis ainsi que le comportement des apprenants. Le cadre adaptatif est basé sur les extensions majeures de nos travaux antérieurs avec HarvardX et sur le partenariat avec TutorGen (Rosen et al, 2017; Harvard VPAL Research blog series). “Nos dépôts GitHub [les dépôts d’Harvard; NDLR] contiennent les codes sources de la passerelle pour l’adaptativité (Bridge for Adaptivity) et du moteur adaptatif (Adaptive Engine) ainsi que d’autres prototypes et documentations” :

https://github.com/harvard-vpal/bridge-adaptivity
https://github.com/harvard-vpal/adaptive-engine

Les observations clés obtenues grâce aux travaux de modélisation et d’analyse nous permettent de mettre en place des directives (fondées sur des données probantes) pour la conception pédagogique des cours futurs ainsi que de mieux comprendre comment les étudiants apprennent efficacement.

ALOSI utilise l’algorithme Bayesian Knowledge Tracing (BKT) [un algorithme permettant de mesurer la maîtrise de chaque apprenant sur un sujet donné, NDLR] pour développer un modèle prédictif de la maîtrise des compétences pour l’apprenant et améliorer les attributs prédictifs associés au contenu. Les principales caractéristiques actuelles d’ALOSI incluent le traçage des connaissances [visant à modéliser l’ensemble des processus cognitifs; NDLR] ainsi qu’un moteur de recommandation, tandis que la modélisation des utilisateurs, les feedback utilisateurs et la recommandation de cours ciblés sont encore en cours de développement. Le moteur s’améliore au fil du temps en utilisant les données des autres apprenants et donne un aperçu en temps-réel des processus d’optimisation (par opposition à de nombreux moteurs commerciaux d’adaptative learning de type « boîte noire » [dont on ne connaît pas le fonctionnement exact; NDLR]).
De plus, l’architecture du moteur adaptatif permet une expérimentation rapide avec différentes stratégies de recommandation.

Notre objectif était de créer un moteur de recommandation adaptatif suffisamment simple pour un MOOC edX, capable de décider quelle activité de cours ou d’évaluation proposer à un apprenant en fonction de son historique.
Nous utilisons divers modèles de traçage des connaissances (BKT) pour estimer le statut des apprenants à un instant t.
D’un point de vu conceptuel, notre moteur se compose de deux composants : le traçage des connaissances et le moteur de recommandation, qui utilise en information d’entrée le résultat du traçage des connaissances.

Nous avons créé une structure flexible pour la stratégie de recommandation. La stratégie est en fait une combinaison d’un certain nombre de « sous-stratégies », chacune étant définie par une expression mathématique qui calcule la désirabilité potentielle pour chacune des questions à venir.

Ces résultats sont ensuite rassemblés à partir de toutes les sous-stratégies et moyennés en utilisant des poids d’importance attribués à chaque sous-stratégie. L’attribution du poid le plus élevé à une sous-stratégie rend probable que sa recommandation « l’emporte » souvent, mais ne garantit pas que cela se produira toujours. Dans ce déploiement, nous avons utilisé trois sous-stratégies :

1. « Remediation » : knowledge components (KC) [éléments de connaissances; NDLR] avec le niveau le plus faible, c’est-à-dire essayer de forcer l’étudiant à pratiquer les sujets qu’il connaît le moins bien.
2. « Continuity » : recommande les éléments marqués avec les mêmes KC (ou les plus similaires) que le dernier élément soumis par l’étudiant, c’est à dire rester sur chaque sujet pendant un moment au lieu de « sauter » d’un sujet à l’autre.
3. « Pre-requisite readiness » : éviter les KC dont le KC pré-requis n’est pas maîtrisé par l’apprenant. En particulier, cela empêche la recommandation prématurée de cours trop complexes.

Expérimentation du MOOC de Microsoft sur edX

L’équipe de conception pédagogique a considérablement amélioré la portée de l’évaluation et a inclus plus de 35 éléments de connaissances et 400 évaluation associés à ces éléments de connaissances.

Notre conception expérimentale a assigné au hasard des apprenants du cours à trois groupes indépendants :
– dans le premier groupe adaptatif, ALOSI a donné la priorité (c-a-d a donné plus de poids) à la sous-stratégie de Remediation (groupe A)
– dans le deuxième groupe adaptatif, ALOSI a priorisé la sous-stratégie de Continuity (groupe B)
– enfin, le groupe de contrôle a suivi les parcours de formation tels que définies par le concepteur pédagogique, sans algorithme adaptatif (groupe C)

Ainsi, les groupes d’apprenants A et B ont expérimenté deux variantes du moteur adaptatif. ALOSI dispose d’une règle facultative « Stop on mastery », qui permet de ne pas proposer des élément de cours pour un KC donné pour lequel l’utilisateur a dépassé un certain seuil de maîtrise (l’utilisateur connaît certainement cet élément de connaissance, donc n’a plus besoin de le pratiquer). Cependant, dans ce déploiement d’ALOSI, cette stratégie a été désactivée : tant qu’un utilisateur demandait plus de questions “adaptatives”, il était servi jusqu’à épuisement du stock disponible.

Notez que la sous-stratégie de Continuity (groupe B) n’utilise pas la correction des réponses dans son algorithme. Par conséquent, nous pourrions dire que le groupe B a connu moins de variabilité dans l’ordre de distribution du cours que le groupe A (et que le groupe C n’en a connu aucune).
De plus, à la demande de l’équipe pédagogique, nous avons suspendu le moteur d’adaptive learning au début des deux modules d’évaluation : le test initial et le test final. Pour ces derniers, pour les groupes A et B, les premiers 34 éléments (test initial) ou 35 éléments (test final) ont été distribués dans une séquence fixe (identique pour tout le monde), et seulement après, l’ordre de distribution du cours est devenu adaptatif.

Il convient de noter que l’approche “adaptive learning” dans le groupe A était la plus différente de l’expérience d’apprentissage traditionnelle du groupe C, et que le groupe B occupe la position intermédiaire en terme d’adaptativité. De plus, dans les groupes adaptatifs, les apprenants travaillaient sur un élément à la fois, tandis que dans le groupe de contrôle [groupe C; NDLR], les éléments de cours étaient présentés dans l’approche edX conventionnelle : plusieurs éléments de cours à la fois.

Nous avons obtenu des informations sur les éléments d’évaluation de la part de l’expert métier : une liste de KC, une liste des conditions préalables requises, le tagging des éléments avec des KC, le niveau de difficulté de chaque élément ainsi que des estimations de probabilité de glissement  [probabilité que l’apprenant se trompe bien qu’il maitrise le sujet; NDLR], de prédiction [probabilité que l’apprenant trouve la réponse grâce à un coup de chance; NDLR] et de transfert de connaissance. Ces valeurs ont été utilisées comme des suppositions initiales au début du cours et sont ensuite mises à jour pendant le déroulement du cours avec celles tirées des données d’évaluation précédentes. Les estimations numériques (par exemple, le niveau de difficulté ou la force de connexion entre deux KC) ont été estimées par l’expert métier en utilisant 3 poids différents (faible / moyen / fort), que nous avons ensuite converti en nombres pour l’utilisation dans le moteur d’adaptive learning.

Bien que notre moteur soit capable de fonctionner avec plusieurs tags, dans ce cours, cela n’a pas été le cas : chaque élément a été annoté avec un seul KC.

Tous les étudiants du cours ont été soumis à un test initial et un test final, permettant une comparaison des performance d’apprentissage entre trois groupes d’étudiants.
Pour les groupes adaptatifs A et B, les 34 premiers problèmes du test initial et les 35 premiers du test final ont été traités de manière non adaptative : leur séquence était fixe (identique pour tout le monde) et seuls les autres problèmes des deux tests étaient traités de manière adaptative.
Ainsi, nous utilisons uniquement la moyenne obtenue sur ces parties identiques des tests pour notre comparaison, afin de garantir que tous les élèves soient comparés sur un pied d’égalité. Pour le groupe C, nous utilisons simplement le test initial et le test final [puisque ce groupe n’utilise pas le moteur d’adaptive learning; NDLR].

Points à retenir

Les “gains d’apprentissage”  [la progression de l’apprenant; NDLR] sont observés comme la différence entre le score moyen obtenu dans le test initial et celui obtenu dans le test final. Il semblerait que le groupe A ait connu le plus grand gain d’apprentissage (ES = 0,641) [ES : effect size, c.-à-d. la différence entre deux moyennes divisée par l’écart-type; NDLR]. Le groupe B, dont la version de l’algorithme adaptatif était plus faible (la continuité a été préférée à la correction), a obtenu des gains d’apprentissage plus faibles (ES = 0,542), et le groupe de contrôle C a obtenu des gains encore plus faibles (ES = 0,535). En revanche, il s’avère que le nombre de problèmes posés n’a pas d’effet significatif sur le gain d’apprentissage (p = 0,65), ce qui nous laisse à penser que le bénéfice de la stratégie “Remediation” (groupe A) ne s’explique pas simplement par le fait de s’entraîner avec plus de questions.

Le traçage des connaissances qui se produit dans notre moteur permet de déterminer le niveau de maîtrise pour chaque élément de connaissance (KC) et pour chaque apprenant après soumission d’une évaluation. Cela nous donne la possibilité de visualiser la courbe d’apprentissage, plutôt que de simplement compter sur la différence entre les résultats des tests initiaux et finaux. Étant donné que nous avons énormément d’éléments de connaissances, nous avons préféré les regrouper par groupe afin de faciliter la visualisation de la courbe.
Notre approche est la suivante : pour chacun des modules d’évaluation, nous calculons la moyenne des probabilités de maîtrise d’un sujet de tous les utilisateurs dans tous les KC représentés sous un tag, et cela pour un module donné. De cette façon, nous créons pour chaque utilisateur un niveau de maîtrise global dans un module. A partir de là, nous pouvons considérer les moyennes par groupe de ce niveau de maîtrise global. Dans le schéma ci-dessous, nous calculons les moyennes du niveau de maîtrise de ces groupes par rapport au nombre de problèmes testés par un utilisateur dans le module.

Maîtrise (sur l’échelle de 0 à 1) démontrée dans le cinquième module du cours. [pour voir l’intégralité des modules, veuillez vous référer à l’étude complète; NDLR]

Les valeurs de maîtrise sont spécifiques à chaque élève et chaque KC. Ici, nous avons fait la moyenne de tous les KC représentés dans le module pour tous les utilisateurs de chaque groupe expérimental. Le groupe C avait une banque d’éléments nettement plus petite, sa courbe de maîtrise n’atteint donc pas les niveaux des groupes A et B. De plus, dans la plage où les trois courbes sont présentes, la courbe du groupe C est moins lisse. Par conséquent, les groupes adaptatifs atteignent plus rapidement un niveau de maitrise moyen (environ 5 à 15 problèmes essayés).

Une caractéristique notable est que dans de nombreux modules d’évaluation, les courbes d’apprentissage des groupes adaptatifs sont plus fluides. Comme le montrent les graphiques [voir le lien vers l’étude complète; NDLR], le groupe C a souvent une banque d’éléments plus petite que les groupes adaptatifs et, à l’exception du test initial, presque tous les utilisateurs de ce groupe ont répondu à presque tous les problèmes.

Prochaines étapes

Notre expérimentation avec des évaluations “adaptatives” a fourni des preuves initiales sur les effets de l’adaptive learning dans les MOOCs notamment sur la progression des acquis et les taux d’abandon.
L’architecture ALOSI permet une expérimentation rapide avec différentes stratégies de recommandation, ainsi que l’intégration d’éléments d’apprentissage dans les cours, tels que des vidéos, des cours, des simulations et d’autres dispositifs d’apprentissage.

Étant donné la structure de nombreuses offres d’apprentissage en ligne, une plus grande intégration entre le contenu d’apprentissage et les modules d’évaluations pourrait permettre une réelle expérience “adaptative learning”. Cette expérience permettrait aux apprenants d’améliorer leur compréhension en fonction de leurs performances aux évaluations.

De plus, d’autres facteurs pourraient être inclus pour fournir une expérience d’apprentissage plus personnalisée : nous pouvons concevoir un moteur d’adaptative learning qui décidera quelle activité proposer en fonction non seulement du niveau de maitrise du sujet mais aussi des intérêts professionnels ou encore des schémas affectifs relevant de l’ennui ou la frustration…