DeepType: compréhension du langage naturel par l’abstraction

Composition du Jury

• Anne Vilnat (Professeure, Université de Paris-Saclay) : Examinatrice
• Laure Soulier (Maîtresse de conférence, Sorbonne Université (ISIR)) : Examinatrice
• Sylvain Lamprier (Professeur, Université d’Angers (laboratoire LERIA)) : Examinateur
• Emmanuel Morin (Professeur, Université de Nantes) : Rapporteur & Examinateur
• Eric Gaussier (Professeur, Université de Grenoble Alpes) : Rapporteur & Examinateur
• Johanne Cohen (Directrice de recherche, CNRS/Université de Paris-Saclay) : Directrice de thèse
• Michèle Sebag (Directrice de recherche, CNRS/Université de Paris-Saclay) : Directrice de thèse

Résumé

La désambiguïsation et l’Entity Linking sont des tâches où le but est de retrouver le sens et l’identité d’un mot ou d’une expression au sein d’un document: par exemple que signifie le mot “France” dans la phrase “La France a battu le Brésil 3-0 dans la finale de 1998” (un pays? une armée? une équipe de football? etc.)? Cette question est difficile car elle requiert de connaître le sens des mots dans leur contexte. Et pourtant, l’Entity Linking est une composante clé des moteurs de recherche type Google, pour la traduction automatisée, le fonctionnement de magasins en ligne, des assistants virtuels comme Siri ou Alexa, ou même au fonctionnement de la bourse due à son utilisation dans des systèmes de négociation automatisés. L’Intelligence Artificielle Neuro-Symbolique est sous-ensemble de l’Intelligence Artificielle (IAIntelligence Artificielle) qui est particulièrement pertinent à l’Entity Linking. Le but de ce sous-domaine est de combiner les atouts de l’Intelligence Artificielle Symbolique avec les avancés venant des méthodes basées sur les réseaux neuronaux. Par exemple, un système Neuro-Symbolique permet à un réseau neuronal d’accéder à des informations symbolique sur Internet en lui donnant accès à un explorateur web pour répondre à des questions plutôt qu’en espérant que le réseau neuronal ait mémorisé à l’avance tous les éléments de réponse possible. Cette thèse présente un corpus d’avancées significatives pour l’Entity Linking et l’Intelligence Artificielle Neuro-Symbolique. En premier temps nous élaborons la première étude mesurant la performance humaine en Entity Linking et servant désormais comme référence. Dans un deuxième temps nous développons DeepType, le premier système basé sur une représentation d’entité qui utilise la hiérarchie des concepts présents dans des ontologies fabriquées par des humains, afin d’entraîner un réseau neuronal profond pour l’Entity Linking. Nous montrons que de remplacer chaque entité par son emplacement dans une hiérarchie simplifiée des concepts, plutôt qu’en utilisant directement les entités, donne lieu à une représentation plus compacte et ayant un plafond de performance qui un égale ou supérieure à celui des humains dans notre étude. Bien que DeepType établisse un nouvel état de l’art, le réseau neuronal entraîné n’est pas à la hauteur de la performance humaine ni celui du plafond potentiel de la représentation choisie. Par conséquent, nous avons créé DeepType 2, la première IAIntelligence Artificielle surpassant l’humain en Entity Lining. Cette avancée est principalement grâce aux interactions de types – une nouvelle façon de représenter une entité en observant les relations entre celle-ci et les autres entités dans un document. Une limitation restante de DeepType 2 est sa dépendence des interactions de types sur une ontologie structurée (e.g. Wikidata), qui peut contenir des erreurs ou être incomplète dans certaines langues ou domaines moins représentés sur Internet. Nous proposons une solution à ce problème dans DeepType 3 en créant une base de Donnée Relationnelle Neuronale (NeRD): il s’agit d’une technique permettant d’apprendre à une IAIntelligence Artificielle comment représenter des entités par leur relations avec d’autres entités en se servant de manière équivalente de données structurées ou non-structurées. A travers ces quatre résultats clés, cette thèse propose une nouvelle référence humaine pour mesurer la performance en Entity Linking, et des algorithmes d’IAIntelligence Artificielle qui établissent un nouvel état de l’art, sont les premiers à surpasser l’humain en Entity Linking, et permettant une meilleur croissance et généralisation vers des nouveaux domaines d’applications où l’apprentissage dépend sur des relations implicites entre des concepts.