Systèmes de dialogue apprenant tout au long de leur vie : de l’élaboration à l’évaluation

Orateur : Mathilde Véron

Composition du jury :

Yannick Estève (Professeur, LIA, Avignon Université) : Rapporteur & Examinateur
François Portet (Professeur, LIG, Université Grenoble Alpes) : Rapporteur & Examinateur
Frédéric Béchet (Professeur, LIS, Aix Marseille Université) : Examinateur
Chloé Clavel (Professeure, LTCI, Télécom Paris-Tech) : Examinatrice
Bich-Liên Doan (Professeure, LISN, Université Paris-Saclay) : Examinatrice
Guillaume Bernard (Ingénieur-docteur, LNE) : Co-superviseur
Olivier Galibert (Ingénieur-docteur, LNE) : Co-superviseur
Sophie Rosset (Directrice de recherche, LISN, CNRS ) : Directrice de thèse

Les systèmes de dialogue orientés tâche, plus communément appelés chatbots, ont pour but de réaliser des tâches et de fournir des informations à la demande d’un utilisateur dans le cadre d’une conversation et d’un domaine précis (e.g. réservation d’un billet de train). Ces systèmes ont été largement adoptés par de nombreuses entreprises. Cependant, ils souffrent en pratique de certaines limitations : (1) ils sont dépendants des données d’entraînement nécessaires afin d’obtenir un système performant, (2) ils manquent de flexibilité et sont peu performants dès que le cas de figure rencontré en pratique s’éloigne des données vues pendant le développement, et (3) il est difficile de les adapter au cours du temps aux nouveaux éléments qui apparaissent étant donné l’évolution inévitable du monde et des exigences des concepteurs et des utilisateurs. Ainsi, nous appliquons le Lifelong Learning (LL) aux systèmes de dialogue orientés tâche. Nous définissons le LL comme la capacité d’un système à être appliqué à et à apprendre plusieurs tâches au cours du temps, en production, en autonomie, en continu et de manière interactive. Trois étapes doivent alors être réalisées en autonomie par le système : (1) Détecter la présence d’un nouvel élément, (2) extraire et identifier le nouvel élément et (3) adapter les composants du système associés à cet élément. Dans le cadre de cette thèse et étant donné la complexité du sujet, nous nous concentrons sur trois sous-problèmes liés aux systèmes de dialogue apprenant tout au long de leur vie.

Dans un 1^er temps, nous proposons une 1ère méthodologie pour l’évaluation continue et au cours du temps de l’apprentissage sur le terrain des systèmes de dialogue. Ce type d’apprentissage est proche du LL mais met de côté l’aspect multi-tâches. Nous décrivons aussi un système de dialogue orienté tâche capable d’améliorer sur le terrain sa détection des slots via l’annotation autonome de données collectées au cours de ses interactions. Nous évaluons ce système à travers deux méthodes d’adaptation grâce à notre méthodologie et montrons l’intérêt d’une évaluation continue et au cours du temps.

Dans un 2^nd temps, nous nous concentrons sur l’étude novatrice du transfert inter-langue dans le cadre de l’apprentissage continu d’une séquence de langues. En effet, le transfert et l’apprentissage continu sont deux aspects importants du LL. Nous réalisons cette étude sur la tâche de détection des slots à l’aide de BERT multilingue. Nous observons des capacités de transfert en avant substantielles malgré la présence d’oubli et présentons les capacités d’un modèle entraîné de manière continue.

Dans un 3^ème temps, nous nous intéressons à l’étude du transfert inter-domaine dans le cadre de l’apprentissage zero-shot. Nous réalisons cette étude sur la tâche de suivi de l’état du dialogue, qui nécessite de considérer l’ensemble du dialogue et plus seulement le tour courant. Nous étudions d’abord les capacités de généralisation et de transfert d’un modèle existant sur de nouvelles valeurs de slots. Ensuite, nous proposons des variantes du modèle et une méthode capable d’améliorer les performances zero-shot du modèle sur des nouveaux types de slots appartenant à un nouveau domaine.

Publications

Liste des publications de Mathilde Véron : https://hal.universite-paris-saclay.fr/search/index/?q=mathilde+v%C3%A9ron