Байесовская оптимизация — последовательная настройка гиперпараметров на основе моделей

Байесовская оптимизация — это последовательная, модельная стратегия поиска оптимума дорогостоящих «чёрных ящиков» функций с минимально возможным количеством вычислений. Основанная на работе Мокуса (Mockus, 1975) и внедрённая в основную практику машинного обучения Снуком, Ларошелем и Адамсом (Snoek, Larochelle, and Adams, 2012), она подгоняет вероятностную суррогатную модель — обычно гауссовский процесс — к прошлым наблюдениям и использует функцию приобретения для определения следующей точки исследования, балансируя между исследованием неизвестных областей и эксплуатацией многообещающих.