贝叶斯优化 — 顺序模型驱动的超参数调优

贝叶斯优化是一种顺序的、基于模型的策略，旨在以尽可能少的评估次数找到昂贵的黑箱函数的最优值。它源于 Mockus (1975) 的工作，并由 Snoek, Larochelle 和 Adams (2012) 推广到主流的机器学习实践中。该方法将概率代理模型（通常是高斯过程）拟合到过去的观测数据上，并使用一个采集函数来决定下一步探测何处，从而在探索未知区域与利用有希望的区域之间取得平衡。