REASON – Contrôle optimal par renforcement des écoulements

Les besoins environnementaux nourrissent l'effort de recherche dans de nombreux domaines de l'ingénierie comme par exemple sur la réduction des émissions de CO2, largement considérées comme une des causes principales du réchauffement climatique. Cette urgence s'étend à de nombreuses applications, comme l'aéronautique où l'optimisation des écoulements aérodynamiques a un impact significatif sur la réduction des émissions polluantes, l'atténuation du bruit rayonné ou le contrôle des systèmes dans des conditions complexes comme les écoulements décollés. En principe, les stratégies de contrôle permettent une optimisation en temps réel, basée sur des mesures par capteurs et des modèles physiques. En pratique, dans des situations réalistes, cette approche est limitée à quelques configurations numériques et expérimentales seulement. Dans ce projet, nous nous proposons d'étudier dans quelle mesure l'apprentissage par renforcement (AR) est une alternative viable au contrôle d'écoulements en conditions réelles. Les algorithmes d'AR reposent sur des données passées pour déterminer la commande future d'un système dynamique en déterminant une politique de contrôle optimale à partir de l'exploration de l'espace état-action. Cette étape remplace le modèle physique et ces algorithmes sont uniquement basés sur les données de mesure du système et la façon dont il réagit à des actions spécifiques. Cela permet d'éviter certaines limites des approches de contrôle basées sur des modèles, comme le recours à des modèles réduits qui peuvent considérablement perdre de pertinence lorsque le contrôle est appliqué, résultant en une faible performance et un manque de robustesse. Le but principal de ce projet est de proposer des avancées en contrôle d'écoulements en faisant le lien avec l'apprentissage par renforcement pour résoudre les difficultés qui ont limité le succès des approches standard pour les écoulements non-linéaires complexes. Dans cette optique, nous prévoyons de développer des stratégies robustes en intégrant dans ce cadre des techniques efficaces d'estimation, des contraintes physiques et des outils issus de la théorie du contrôle.