Bayesian XGBoost
Bayesian-Optimized Extreme Gradient Boosting · Ayrıca şöyle bilinir: Bayesian XGBoost, XGBoost with Bayesian Optimization, BayesOpt-XGBoost, Bayes-tuned XGBoost
Bayesian XGBoost, Aşırı Gradyan Artırma (Extreme Gradient Boosting) modelinin tahmin gücünü, hiperparametre ayarlaması için Bayesçi optimizasyon ile birleştirir. Izgara (grid) veya rastgele arama yerine, olasılıksal bir vekil model (surrogate model), öğrenme oranı, ağaç derinliği ve düzenlileştirme parametreleri için en uygun değeri bulma sürecini yönlendirerek, kapsamlı arama yaklaşımlarına kıyasla çok daha az değerlendirme ile optimuma yakın performans elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Tablosal veriler üzerinde güçlü tahmin performansı gerektiğinde ve veri kümesi büyük olduğu veya eğitim süresi önemli olduğu için hiperparametre ayarlaması maliyetli olduğunda Bayesian XGBoost kullanın. Özellikle sınırlı bir değerlendirme bütçeniz varsa (50-100 denemeden az) ve bu bütçe dahilinde rastgele veya ızgara aramayı geçmek istiyorsanız değerlidir. Veri kümesinin çok küçük olduğu (~100 gözlemden az) durumlarda daha basit modellerin daha iyi genelleme yaptığı veya katsayıların tam yorumlanabilirliğinin gerektiği durumlarda önerilmez. Ayrıca basit bir varsayılan XGBoost'un performans hedefini zaten karşılıyorsa gereksizdir.
Güçlü yönler & sınırlılıklar
- Izgara veya rastgele aramadan çok daha az denemeyle optimuma yakın hiperparametre yapılandırmaları elde eder.
- Sınıflandırma ve regresyon için tablosal veriler üzerinde XGBoost'un güçlü, kullanıma hazır doğruluğunu miras alır.
- XGBoost'un yerleşik eksik değer işleme yeteneği sayesinde ön işleme yükünü azaltır.
- XGBoost'un paralel ve bellek açısından verimli ağaç oluşturması sayesinde büyük veri kümelerine iyi ölçeklenir.
- Optimizasyon çerçevesini değiştirmeden çeşitli hedefleri (ikili sınıflandırma, çok sınıflı, regresyon, sıralama) destekler.
- Vekil model belirsizlik tahminleri sağlar, kazançlar düzleştiğinde erken durdurmaya olanak tanır.
- Düz XGBoost'a sabit hiperparametrelerle göre uygulanması ve tekrarlanması daha karmaşıktır.
- Bayesçi optimizasyon doğası gereği sıralıdır, kullanılmadıkça asenkron varyantlar paralelliği sınırlar.
- Deneme sayısı çok büyük olduğunda rastgele aramaya göre performans kazançları mütevazı olabilir.
- Kara kutu (black-box) bir model olarak kalır; Bayesçi arama eklemek nihai modelin yorumlanabilirliğini artırmaz.
SSS
XGBoost ile hangi Bayesçi optimizasyon kütüphanesini kullanmalıyım?
Optuna ve Hyperopt en yaygın kullanılanlardır. Optuna'nın TPE örnekleyicisi, XGBoost'un çapraz doğrulama API'si ile entegre edilmesi kolaydır ve umut vaat etmeyen denemelerin erken durdurma yoluyla budanmasını destekler, bu da onu pratik bir ilk seçenek haline getirir.
Rastgele aramayı geçmek için kaç denemeye ihtiyacım var?
Ampirik olarak, Bayesçi optimizasyon yaklaşık 50-100 deneme bütçesi altında rastgele aramayı geride bırakma eğilimindedir. Daha fazla deneme ile aradaki fark daralır. Çok büyük bir deneme bütçeniz varsa, yeterli sayıda iterasyonla rastgele arama makul bir başlangıç noktasıdır.
Bayesian XGBoost dengesiz sınıfları ele alır mı?
Evet, XGBoost'un scale_pos_weight parametresi aracılığıyla veya değerlendirme metriğini AUC veya ortalama kesinlik (average precision) olarak ayarlayarak. Sınıf ağırlıklandırma parametrelerini Bayesçi arama uzayına dahil etmek, optimize edicinin bunları ağaç yapısı parametreleriyle birlikte ayarlamasına olanak tanır.
Bayesian XGBoost tekrarlanabilir mi?
Tekrarlanabilirlik, hem XGBoost rastgele tohumunu (seed) hem de optimizasyon kütüphanesinin tohumunu sabitlemeyi gerektirir. Bazı Bayesçi optimize ediciler çalıştırmalar arasında deterministik değildir; sonuçların kopyalanabilmesini sağlamak için tüm tohumları ve tam arama uzayını belgeleyin.
Neden düz XGBoost'u Bayesçi ayarlama olmadan tercih etmeliyim?
Doğrulama metriğine aşırı uyum riskinin yüksek olduğu küçük bir veri kümeniz olduğunda, eğitim süresi ihmal edilebilir olduğunda ve bir ızgara aramasının mümkün olduğu durumlarda veya varsayılan veya manuel olarak seçilmiş bir yapılandırmanın performans gereksinimlerinizi zaten karşıladığı durumlarda.
Kaynaklar
- Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. DOI: 10.1145/2939672.2939785 ↗
- Snoek, J., Larochelle, H. & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25, 2951–2959. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Bayesian-Optimized Extreme Gradient Boosting. ScholarGate. https://scholargate.app/tr/machine-learning/bayesian-xgboost
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- LightGBMMakine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır