Towards Reliable ML: Leveraging Multi-Modal Representations, Information Bottleneck and Extreme Value Theory

Résumé

Cette recherche doctorale vise à rendre l’apprentissage automatique plus fiable, en particulier pour les applications critiques. Les modèles d’apprentissage profond actuels, bien que très performants, restent difficiles à exploiter en toute confiance en raison de leur opacité, de leur vulnérabilité aux attaques adversariales, de leur sensibilité aux changements de distribution et de leur inefficacité face à des contraintes de données ou de calcul. Pour répondre à ces limitations, ce travail explore trois dimensions complémentaires : l’explicabilité, la robustesse et la frugalité. Sur le volet explicabilité, il propose une méthode appelée CB2, qui introduit une interprétabilité basée sur les concepts pour les réseaux neuronaux profonds. CB2 repose sur des représentations multimodales et la théorie de la décision pour aligner les représentations internes du modèle avec des concepts compréhensibles par l’humain. Cette technique permet de mieux comprendre pourquoi un modèle fait une prédiction donnée et d’identifier d’éventuels biais dans le processus de décision. Comparé aux méthodes d’attribution post-hoc classiques, CB2 offre des explications plus structurées et sémantiquement pertinentes, validées sur plusieurs ensembles de données en vision par ordinateur. En matière de robustesse, cette recherche propose deux approches visant à améliorer la fiabilité des modèles. La première, POSIB, est une méthode de post-entraînement fondée sur le principe du goulet d’étranglement de l’information, qui restructure l’espace latent d’un modèle pour distinguer les caractéristiques informatives du bruit et des corrélations non pertinentes. Cette approche renforce la robustesse sans compromettre la précision prédictive. La seconde approche, appelée SPADE, traite la détection des échantillons hors distribution et des entrées adversariales. SPADE exploite la théorie des valeurs extrêmes pour caractériser le comportement des queues de distribution dans l’espace latent, fournissant ainsi un cadre rigoureux pour détecter les entrées inconnues ou malveillantes et éviter les prédictions peu fiables. Des expériences menées sur différentes architectures et ensembles de données montrent que SPADE atteint des performances de pointe en matière de détection hors distribution et de défense contre les attaques adversariales. Enfin, ce travail s’intéresse également à la frugalité, en reconnaissant que les modèles déployés dans des contextes industriels ou critiques opèrent souvent sous des contraintes sévères de données et de calcul. Pour relever ces défis, il développe des techniques d’apprentissage frugal des représentations qui optimisent le contenu informationnel des espaces latents, ne conservant que les caractéristiques essentielles. Associée au cadre de robustesse, cette approche aboutit à F-STUDENT, une version distillée des modèles robustes qui compresse le réseau tout en maintenant sa capacité à résister aux attaques adversariales. Cette méthode surpasse les techniques classiques de pruning en exploitant une distillation multi-étapes et une régularisation par le goulet d’étranglement de l’information. Dans l’ensemble, cette recherche doctorale contribue à combler l’écart entre les avancées théoriques de l’apprentissage automatique et les exigences pratiques du déploiement de l’IA dans des environnements critiques. En abordant conjointement l’explicabilité, la robustesse et la frugalité, elle propose un cadre complet pour développer des systèmes d’apprentissage automatique fiables et adaptés aux applications à forts enjeux.

Rapporteurs

o   Stéphane Girard : DR INRIA Grenoble-Alpes, équipe Simerge

o   Jean-Michel Loubes : DR INRIA Toulouse IMT

Membres du Jury :

o   Charlotte Laclau : Professeur Télécom Paris, LTCI Lab équipe S2A

o   Benedikt Bollig : DR CNRS UPSaclay, LMF

o   Nicolas Sabouret : Professeur UPSaclay, LISN