Bayesiansk optimering — Sekventiel model-baseret hyperparameter-tuning

Bayesiansk optimering er en sekventiel, model-baseret strategi til at finde optimum af dyre black-box funktioner med så få evalueringer som muligt. Med rødder i arbejdet af Mockus (1975) og bragt til mainstream maskinlæringspraksis af Snoek, Larochelle og Adams (2012), tilpasser den en probabilistisk surrogatmodel — typisk en Gaussisk Proces — til tidligere observationer og bruger en erhvervelsesfunktion til at bestemme, hvor der skal probes næste gang, og balancerer udforskning af ukendte områder med udnyttelse af lovende områder.