Sur le manque d’expressivité des réseaux de neurones et leur résolution de manière optimale par accroissement d’architecture

Résumé

Notre objectif est d’adapter l’architecture d’un réseau de neurones pendant son entraînement, en localisant les couches manquant d’expressivité. Cela permettrait de partir de petites architectures et de les faire croître là où nécessaire, ce qui permettrait de gagner considérablement en temps d’entraînement et en ressources informatiques par rapport à l’approche standard où des modèles surdimensionnés sont entraînés puis réduits. Une formulation mathématique prometteuse du problème permet de localiser directement et précisément les goulets d’étranglement de l’expressivité, en faible complexité computationnelle, à l’opposé des techniques standard d’apprentissage automatique profond qui procèdent par essais et erreurs via des modifications aléatoires de l’architecture (ce qui est très coûteux).

Jury

• Rémi Gribonval, Directeur de recherche Inria, ENS Lyon, rapporteur
• Hervé Luga, Professeur Université Toulouse Jean Jaurès, rapporteur
• David Picard, Directeur de recherche École des Ponts ParisTech
• Aurélie Névéol, Directrice de recherche, CNRS, examinatrice
• Guillaume Lecué, Professeur ESSEC, CY Cergy Paris Université, examinateur

Mots clés

réseau de neurone,pouvoir expressif,approximation de rang faible,optimisation