Evolutionary Strategy (CMA-ES) — Covariance Matrix Adaptation

CMA-ES, acronimo di Covariance Matrix Adaptation Evolution Strategy, è un moderno ottimizzatore privo di derivate per funzioni black-box continue introdotto da Hansen e Ostermeier nel 2001. Mantiene una popolazione di soluzioni candidate estratte da una distribuzione normale multivariata e aggiorna iterativamente la media, la dimensione del passo e la matrice di covarianza completa della distribuzione per guidare la ricerca verso regioni migliori dello spazio dei parametri. È diventato lo standard de facto per l'ottimizzazione di funzioni black-box continue ed è ampiamente utilizzato nella ricerca dell'architettura neurale e nell'ottimizzazione delle policy di apprendimento per rinforzo.