Стратегия эволюции (CMA-ES) — Адаптация ковариационной матрицы

CMA-ES, сокращение от Covariance Matrix Adaptation Evolution Strategy (стратегия эволюции с адаптацией ковариационной матрицы), является современным оптимизатором для непрерывных функций чёрного ящика, не требующим вычисления градиентов, представленным Хансеном и Остермайером в 2001 году. Он поддерживает популяцию кандидатных решений, извлечённых из многомерного нормального распределения, и итеративно обновляет среднее значение распределения, величину шага и полную ковариационную матрицу, чтобы направить поиск в более перспективные области пространства параметров. CMA-ES стал де-факто стандартом для непрерывной оптимизации чёрного ящика и широко используется при поиске архитектуры нейронных сетей и оптимизации политики обучения с подкреплением.