Vers l’évaluation multimodale du niveau L2: caractéristiques de la parole et du mouvement des yeux dans un cadre multimodal

Jury

• Véronique DELVAUX, Professeure, Université de Mons
• Sophie HERMENT, Professeure, Université d’Aix-Marseille
• Ralph ROSE, Professeur, Université Waseda
• Sébastien LALLÉ, Maître de Conférences, Sorbonne Université
• Nicolas AUDIBERT, Maître de Conférences, Université Sorbonne Nouvelle
• Cédric Gendrot, Professeur, Université Sorbonne Nouvelle

Résumé

Ces dernières années, le monde de l’éducation a subi des changements importants, notamment avec la digitalisation massive du système en 2020 et l’avancement des technologies d’IA générative. Le projet LeCycl (Learning Cyclotron)
[Vargo et al., 2023] s’inscrit dans cette tendance scientifique et vise à accélérer la circulation des connaissances; en prenant en compte trois processus principaux d’apprentissage : la perception, la maîtrise et le transfert. Cette thèse, faisant partie du projet LeCycl, exploite des stratégies de lecture orale en langue étrangère (L2) en analysant les difficultés rencontrées par des représentants de différentes cultures et leurs stratégies pour les surmonter. À cette fin, nous utilisons des indices multimodaux (la parole et le mouvement des yeux) ainsi qu’un protocole original introduisant des nudges (représentés par des bandes dessinées) pour l’adaptation culturelle [Hutin et al., 2023], Nous avons développé un protocole impliquant la collecte de données de lecture à voix haute des locuteurs français et japonais de l’anglais L2 et des locuteurs natifs de l’anglais [Kobylyanskaya,2022]. Nous avons analysé les performances des locuteurs à travers des mesures acoustiques et linguistiques (réalisation acoustique des phonèmes, prosodie et disfluences telles que les pauses, hésitations, troncations), ainsi que des mesures de mouvements oculaires [El Baha et al., 2022; Kobylyanskaya et al., 2023]. Ensuite, nous avons utilisé des méthodes d’apprentissage automatique pour définir le niveau de L2 des locuteurs à partir de ces mesures. Enfin, nous avons évalué la contribution des images sur les performances de lecture orale des locuteurs. Les résultats montrent que les représentants de langues maternelles Français et Japonais sont confrontés à des défis spécifiques lorsqu’ils lisent des textes en langue étrangère et adoptent différentes stratégies pour les surmonter, ce qui se traduit à la fois au niveau verbal et oculaire. Nos résultats soulignent la nécessité de développer des outils d’apprentissage adaptés aux cultures ainsi que les défis associés à leur conception.