Еволюційна стратегія (CMA-ES) — Адаптація коваріаційної матриці

CMA-ES, скорочення від Covariance Matrix Adaptation Evolution Strategy, є сучасним оптимізатором без похідних для неперервних функцій чорної скриньки, представленим Хансеном та Остермайєром у 2001 році. Він підтримує популяцію кандидатних розв'язків, вибраних із багатовимірного нормального розподілу, та ітеративно оновлює середнє значення розподілу, розмір кроку та повну коваріаційну матрицю, щоб спрямувати пошук до кращих областей простору параметрів. Він став де-факто стандартом для неперервної оптимізації чорної скриньки і широко використовується в пошуку архітектури нейронних мереж та оптимізації політик навчання з підкріпленням.