Bayesiansk optimering — Sekvensiell modellbasert hyperparameterjustering

Bayesiansk optimering er en sekvensiell, modellbasert strategi for å finne optimum av kostbare svartboksfunksjoner med færrest mulig evalueringer. Rotfestet i arbeidet til Mockus (1975) og brakt til mainstream maskinlæringspraksis av Snoek, Larochelle og Adams (2012), tilpasser den en probabilistisk surrogatmodell — typisk en Gaussisk prosess — til tidligere observasjoner og bruker en ervervelsesfunksjon for å bestemme hvor den skal undersøke neste gang, og balanserer utforskning av ukjente regioner med utnyttelse av lovende regioner.