Bayesian Optimization — Sequentielle modellbasierte Hyperparameter-Optimierung

Bayesian Optimization ist eine sequentielle, modellbasierte Strategie zur Ermittlung des Optimums teurer Black-Box-Funktionen mit möglichst wenigen Auswertungen. Basierend auf der Arbeit von Mockus (1975) und durch Snoek, Larochelle und Adams (2012) in die Mainstream-Praxis des maschinellen Lernens gebracht, passt sie ein probabilistisches Surrogatmodell – typischerweise einen Gauß-Prozess – an frühere Beobachtungen an und verwendet eine Akquisitionsfunktion, um zu entscheiden, wo als Nächstes gesucht werden soll, wobei die Exploration unbekannter Regionen gegen die Ausnutzung vielversprechender Regionen abgewogen wird.