Evolutionary Strategy (CMA-ES) — Anpassning av kovariansmatris

CMA-ES, en förkortning för Covariance Matrix Adaptation Evolution Strategy, är en modern derivatfri optimerare för kontinuerliga svart-låda-funktioner som introducerades av Hansen och Ostermeier år 2001. Den upprätthåller en population av kandidatlösningar dragna från en multivariat normalfördelning och uppdaterar iterativt fördelningens medelvärde, stegstorlek och fullständiga kovariansmatris för att styra sökningen mot bättre regioner av parameterrummet. Den har blivit de facto-standarden för kontinuerlig svart-låda-optimering och används flitigt inom neural arkitektursökning och optimering av policyer för förstärkningsinlärning.