Bayesian Optimization — Sequentiële Model-gebaseerde Hyperparameter Tuning

Bayesian Optimization is een sequentiële, model-gebaseerde strategie voor het vinden van het optimum van dure black-box functies met zo min mogelijk evaluaties. Geworteld in het werk van Mockus (1975) en naar de gangbare praktijk van machine learning gebracht door Snoek, Larochelle en Adams (2012), past het een probabilistisch surrogaatmodel toe — typisch een Gaussisch Proces — op eerdere observaties en gebruikt het een acquisitiefunctie om te beslissen waar de volgende probe zal plaatsvinden, waarbij exploratie van onbekende regio's wordt afgewogen tegen exploitatie van veelbelovende regio's.