Structuration, classification et génération automatiques pour l’accessibilité des manuels scolaires

Jury

• Benoît Crabbé, Professeur des universités, LLF, CNRS, Université Paris Cité – Rapporteur
• Gaël Dias, Professeur des universités, GREYC, CNRS, Université de Caen Normandie – Rapporteur
• Cyril Grouin, Ingénieur de recherche, LISN, CNRS, Université Paris-Saclay – Examinateur
• Pascale Sébillot, Professeure des universités, IRISA, INSA Rennes – Examinatrice
• Amalia Todirascu, Professeure des universités, LiLPa, Université de Strasbourg – Examinatrice
• Jérôme Dupire, Maître de conférences, Cedric, Cnam – Directeur de thèse
• Olivier Pons, Maître de conférences, Cedric, Cnam – Co-encadrant
• Camille Guinaudeau, Maîtresse de conférences, LISN, CNRS, Université Paris-Saclay – Co-encadrante

Résumé

Cette thèse s’inscrit dans le cadre du projet ANR MALIN et porte sur l’accessibilité des manuels scolaires en usage dans les établissements scolaires français, pour les élèves dyspraxiques ou déficients visuels. Elle explore le potentiel des modèles de langue et vision-langage pré-entraînés, pour automatiser la structuration et l’adaptation des manuels scolaires.

Nous proposons une modélisation formelle du manuel scolaire, centrée sur les activités pédagogiques, qui articule structure conceptuelle et mise en page. Cette modélisation, traduite en une DTD XML compatible avec des standards existants, sert de base à la constitution d’un corpus structuré de manuels d’étude de la langue. Nous explorons ensuite la structuration automatique des exercices avec des modèles de vision par ordinateur, des modèles pré-entraînés multimodaux et des grands modèles vision-langage.

Le second axe concerne la classification des exercices selon le type d’adaptation nécessaire. Dans un contexte de données multimodales, limitées et fortement déséquilibrées, nous comparons différentes approches fondées sur des modèles de langue pré-entraînés exploitant le texte et la mise en page. Nous introduisons ensuite un second objectif de classification lié à la nature de l’opération pédagogique demandée dans la consigne, et proposons un nouveau scénario d’apprentissage incrémental par tâche.

Le dernier axe de recherche porte sur l’accessibilité visuelle à travers la génération automatique de textes alternatifs. Constatant la rareté de données adaptées, nous élargissons l’étude à un cadre anglophone plus général, et introduisons le corpus AD2AT. La mise en évidence des critères d’accessibilité, ainsi que des expériences préliminaires, ouvrent la voie à de nouvelles approches d’affinage par instructions et à une métrique d’évaluation sans référence.

Publications

Lien vers les 12 publications dans HAL : https://universite-paris-saclay.hal.science/LISN/search/index?q=lincker

Lieu

Cnam Paris, 2 rue Conté 75003 Paris – Amphithéâtre Laussédat (accès 31, 3ème étage).