Répondre aux questions visuelles à propos d’entités nommées

Thèse dirigée par Olivier Ferret, chercheur au CEA List, et co-encadrée par Camille Guinaudeau, maîtresse de conférences à l’Université Paris-Saclay.

Jury

• Josiane Mothe, professeure à l’Université Toulouse Jean-Jaurès
• Philippe Mulhem, chargé de recherches au CNRS (LIG, Université Grenoble Alpes)
• Michel Crucianu, professeur au CEDRIC-CNAM
• Ewa Kijak, maîtresse de conférences à l’Université de Rennes
  
• Pierre Zweigenbaum, directeur de recherche au CNRS (LISN, Université Paris-Saclay)

Mots clés : questions visuelles, recherche d’information multimodale, apprentissage de représentation, entités nommées, pré-entraînement, système de question-réponse

Résumé

Cette thèse se positionne à l’intersection de plusieurs domaines de recherche, le traitement automatique des langues, la Recherche d’Information (RI) et la vision par ordinateur, qui se sont unifiés autour des méthodes d’apprentissage de représentation et de pré-entraînement. Dans ce contexte, nous avons défini et étudié une nouvelle tâche multimodale : répondre aux questions visuelles à propos d’entités nommées (KVQAE) Dans ce cadre, nous nous sommes particulièrement intéressé aux interactions cross-modales et aux différentes façons de représenter les entités nommées. Nous avons également été attentifs aux données utilisées pour entraîner mais surtout évaluer les systèmes de question-réponse à travers différentes métriques. Plus précisément, nous avons proposé à cet effet un jeu de données, le premier de KVQAE comprenant divers types d’entités. Nous avons également défini un cadre expérimental pour traiter la KVQAE en deux étapes grâce à une base de connaissances non-structurée et avons identifié la RI comme principal verrou de la KVQAE, en particulier pour les questions à propos d’entités non-personnes. Afin d’améliorer l’étape de RI, nous avons étudié différentes méthodes de fusion multimodale, lesquelles sont pré-entraînées à travers une tâche originale : l’Inverse Cloze Task multimodale. Nous avons trouvé que ces modèles exploitaient une interaction cross-modale que nous n’avions pas considéré à l’origine, et qui permettrait de traiter l’hétérogénéité des représentations visuelles des entités nommées. Ces résultats ont été renforcés par une étude du modèle CLIP qui permet de modéliser cette interaction cross-modale directement. Ces expériences ont été menées tout en restant attentif aux biais présents dans le jeu de données ou les métriques d’évaluation, notamment les biais textuels qui affectent toute tâche multimodale.