Ottimizzazione Bayesiana — Tuning Iperparametrico Sequenziale Basato su Modello

L'ottimizzazione Bayesiana è una strategia sequenziale, basata su modello, per trovare l'ottimo di funzioni costose a scatola nera con il minor numero possibile di valutazioni. Radicata nel lavoro di Mockus (1975) e portata alla pratica mainstream del machine learning da Snoek, Larochelle e Adams (2012), adatta un modello surrogato probabilistico — tipicamente un Processo Gaussiano — alle osservazioni passate e utilizza una funzione di acquisizione per decidere dove sondare successivamente, bilanciando l'esplorazione di regioni sconosciute con lo sfruttamento di quelle promettenti.