Еволюционна стратегия (CMA-ES) — Адаптация на ковариационна матрица

CMA-ES, съкращение от Covariance Matrix Adaptation Evolution Strategy, е модерен безпроизводен оптимизатор за непрекъснати "чернокутийни" функции, въведен от Хансен и Остермайер през 2001 г. Той поддържа популация от кандидат-решения, извлечени от многомерно нормално разпределение, и итеративно актуализира средната стойност на разпределението, размера на стъпката и пълната ковариационна матрица, за да насочи търсенето към по-добри области на параметърното пространство. Той се е превърнал в де факто стандарт за непрекъсната "чернокутийна" оптимизация и е широко използван при търсене на невронни архитектури и оптимизация на политики за подсилващо обучение.