Evolutionary Strategy (CMA-ES) — Anpassung der Kovarianzmatrix

CMA-ES, kurz für Covariance Matrix Adaptation Evolution Strategy, ist ein moderner, derivatfreier Optimierer für kontinuierliche Black-Box-Funktionen, der 2001 von Hansen und Ostermeier eingeführt wurde. Er unterhält eine Population von Kandidatenlösungen, die aus einer multivariaten Normalverteilung gezogen werden, und aktualisiert iterativ den Mittelwert, die Schrittweite und die vollständige Kovarianzmatrix der Verteilung, um die Suche in bessere Bereiche des Parameterraums zu lenken. Er ist zum De-facto-Standard für die kontinuierliche Black-Box-Optimierung geworden und wird häufig bei der Suche nach neuronalen Architekturen und der Optimierung von Policy-Parametern im Reinforcement Learning eingesetzt.