Optimisation bayésienne — Réglage séquentiel basé sur un modèle des hyperparamètres

L'optimisation bayésienne est une stratégie séquentielle, basée sur un modèle, pour trouver l'optimum de fonctions coûteuses en boîte noire avec le moins d'évaluations possible. Issue des travaux de Mockus (1975) et popularisée dans la pratique de l'apprentissage automatique par Snoek, Larochelle et Adams (2012), elle ajuste un modèle probabiliste substitut — typiquement un Processus Gaussien — aux observations passées et utilise une fonction d'acquisition pour décider où sonder ensuite, équilibrant l'exploration de régions inconnues avec l'exploitation de régions prometteuses.