Bayesçi Optimizasyon — Sıralı Model Tabanlı Hiperparametre Ayarlaması

Izgara araması, sabit bir konfigürasyon kafesini değerlendirir ve rastgele arama, tekdüze rastgele örnekler alır — her ikisi de bir sonraki noktayı seçerken önceki denemelerin sonuçlarını göz ardı eder. Bayesçi Optimizasyon, bir vekil model oluşturmak için tüm geçmiş gözlemleri aktif olarak kullanır ve mevcut en iyi sonucu iyileştirmesi en muhtemel bir sonraki noktayı seçer, bu da değerlendirmeler pahalı olduğunda onu çok daha örneklem verimli hale getirir.

Beklenen İyileşme (EI) en yaygın kullanılan varsayılandır: mevcut en iyiye göre beklenen kazancı ölçer ve problem türleri arasında güvenilir olma eğilimindedir. Üst Güven Sınırı (UCB), ayarlanabilir bir keşif bonusu ekler ve yüzeyin kötü anlaşıldığı durumlarda sıklıkla tercih edilir. İyileşme Olasılığı (PI) daha çok sömürü ağırlıklıdır ve erken yakınsayabilir. EI ile başlayın ve optimize edici durgunlaşırsa UCB'ye geçin.

Evrensel bir kural yoktur, ancak toplamda ondan az değerlendirme (başlangıç rastgele denemeleri dahil) vekil modele güvenilir olmak için çok az veri sağlar. Pratik uygulamalar tipik olarak beş ila on başlangıç rastgele noktası ve ardından yirmi ila elli sıralı Bayesçi adım kullanır. En iyi görülen skor birkaç ardışık iterasyon boyunca iyileşmeyi durdurduğunda, bütçe durdurulabilir.

Standart Bayesçi Optimizasyon doğası gereği sıralıdır. Toplu mod uzantıları, bir dizi adayı eşzamanlı olarak önermeye izin verir — yaygın stratejiler arasında Yerel Cezalandırma ve Kriging Believer sezgiseli bulunur — bu da paralel değerlendirmeyi mümkün kılar. Eşzamansız varyantlar, tam toplu işi beklemek yerine bir çalışan boşaldığında yeni bir aday başlatır. Bu uzantılar Optuna ve BoTorch gibi kütüphanelerde mevcuttur.