ベイズ最適化 — 逐次モデルベースのハイパーパラメータチューニング

ベイズ最適化は、高価なブラックボックス関数の最適値を、できるだけ少ない評価回数で見つけるための逐次的なモデルベース戦略です。Mockus (1975) の研究に端を発し、Snoek, Larochelle, and Adams (2012) によって機械学習の実践に広く導入されました。これは、過去の観測値に確率的サロゲートモデル（通常はガウス過程）を適合させ、獲得関数を用いて次に探索すべき点を決定します。この際、未知の領域の探索と有望な領域の活用とのバランスを取ります。