Stratégie d'évolution (CMA-ES) — Adaptation de la matrice de covariance

CMA-ES, abréviation de Covariance Matrix Adaptation Evolution Strategy, est un optimiseur moderne sans dérivée pour les fonctions continues boîte noire, introduit par Hansen et Ostermeier en 2001. Il maintient une population de solutions candidates tirées d'une distribution normale multivariée et met à jour itérativement la moyenne, la taille du pas et la matrice de covariance complète de la distribution pour orienter la recherche vers de meilleures régions de l'espace des paramètres. Il est devenu le standard de facto pour l'optimisation continue boîte noire et est largement utilisé dans la recherche d'architecture neuronale et l'optimisation de politiques d'apprentissage par renforcement.