Méthodologie pour la conception et l’analyse de compétitions en apprentissage automatique.

Résumé

Nous développons et étudions une méthodologie systématique et unifiée pour organiser et utiliser les compétitions scientifiques dans la recherche, en particulier dans le domaine de l’apprentissage automatique (intelligence artificielle basée sur les données).
De nos jours, les compétitions deviennent de plus en plus populaires en tant qu’outil pédagogique et comme moyen de repousser les limites de l’état de l’art en engageant des scientifiques de tous âges, à l’intérieur ou à l’extérieur du milieu universitaire.
On peut y voir une forme de science citoyenne. Cette forme de contribution communautaire à la science pourrait contribuer à la recherche reproductible et démocratiser l’intelligence artificielle.
Toutefois, si la distinction entre organisateurs et participants peut atténuer certains biais, il existe un risque que des biais dans la sélection des données, les métriques d’évaluation, et d’autres éléments de conception expérimentale compromettent l’intégrité des résultats et amplifient l’influence du hasard.
Dans les cas extrêmes, les résultats pourraient être inutiles, voire préjudiciables à la communauté scientifique et, en conséquence, à la société dans son ensemble.
Notre objectif est d’inscrire l’organisation de compétitions scientifiques dans un cadre rigoureux et d’offrir à la communauté des recommandations éclairées. Conjointement avec l’effort de développement des outils d’organisation de compétitions que nous développons dans le cadre du projet CodaLab, nous visons à fournir une contribution utile à la communauté
Cette thèse comprend des contributions théoriques s’appuyant sur la conception expérimentale, les statistiques et la théorie des jeux, ainsi que des résultats empiriques pratiques résultant de l’analyse des données de compétitions passées.

Composition du jury

• Ioannis TSAMARDINOS – Professeur, University of Crete – Rapporteur & Examinateur
• Mihaela VAN DER SCHAAR – Professeur, University of Cambridge – Rapporteur & Examinateur
• Kristin BENNETT – Professeur, Rensselaer Polytechnic Institute – Examinateur
• Magali RICHARD – Professeur, Université Grenoble Alpes – Examinateur
• Bertrand THIRION – Chercheur, INRIA, Université Paris-Saclay – Examinateur
• Isabelle GUYON – Professeur, Université Paris-Saclay – Directrice de thèse