Best paper Award IEEE International Conference on e-Science

L’optimisation des hyperparamètres est cruciale pour maximiser les performances des processus d’apprentissage automatique, mais cela peut être incroyablement chronophage. Une façon de résoudre ce problème est d’exploiter le calcul parallèle. C’est pourquoi notre équipe a suggéré un algorithme décentralisé pour permettre une mise à l’échelle efficace de l’optimisation Bayésienne !

Contrairement aux méthodes centralisées plus traditionnelles avec une unique file d’attente, la décentralisation donne à chaque agent la possibilité de fonctionner de manière autonome tout en partageant ses résultats de manière globale.

Les résultats ? Non seulement nous avons constaté des améliorations des capacités prédictives du modèle, mais nous avons également observé une convergence plus rapide sur un problème de testDéfinition courte Lorem ipsum pour le traitement personnalisé du cancer. Les hyperparamètres optimaux sont découverts en seulement 25 minutes en utilisant 1920 travailleurs en parallèle sur le supercalculateur Polaris. Des résultats qui n’auraient pas pu être atteints auparavant même après plusieurs heures de calculs. C’est une avancée significative pour paralléliser l’optimisation (bayésienne) des hyperparamètres à grande échelle sur des systèmes de calcul haute performance tel que Jean-Zay en France.

Documentation et code open-source ✅ dans DeepHyper (https://deephyper.readthedocs.io).