Regülerize Gradyan Yükseltme
Regularized Gradient Boosting (L1/L2-Penalized Additive Tree Ensemble) · Ayrıca şöyle bilinir: penalized gradient boosting, shrinkage-regularized boosting, XGBoost-style regularization, L1/L2 gradient boosting
Regülerize gradyan yükseltme, klasik eklemeli ağaç topluluğunu (Friedman 2001) L1 ve L2 ceza terimlerini doğrudan eğitim hedefine gömerek ve ağaç boyutuna bir karmaşıklık cezası ekleyerek genişletir. XGBoost (Chen & Guestrin 2016) tarafından popülerleştirilen bu çerçeve, cezasız yükseltmeye kıyasla aşırı uyumu azaltır ve genellemeyi iyileştirirken, yöntemin tablo verilerindeki karakteristik doğruluğunu korur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+1 tane daha
Ne zaman kullanılır
Tablo verileriyle çalışırken ve tahmin doğruluğu birincil hedef olduğunda regülerize gradyan yükseltme kullanın — orta ila büyük örnekler (kabaca 200+ gözlem) içeren sınıflandırma ve regresyon problemleri için mükemmel bir varsayılan yöntemdir. Özellikle özellikler doğrusal olmayan ilişkiler ve etkileşimler içerdiğinde, bazı özellikler alakasız olduğunda (L1 yaprak ağırlıklarını seyreltir) ve lambda, alpha, gamma ve eta'nın çapraz doğrulama ayarı mümkün olduğunda çok uygundur. Yorumlanabilirlik açık katsayılar gerektirdiğinde, veriler çok küçük olduğunda (n ~100'ün altında), veriler RNN'ler veya GP'ler için daha uygun güçlü bir sıralı veya uzamsal yapıya sahip olduğunda veya eğitim süresi ciddi şekilde kısıtlandığında ve daha basit bir modelin yeterli olacağı durumlarda kaçının.
Güçlü yönler & sınırlılıklar
- Regülarizasyon cezaları (L1, L2, yaprak sayısı), standart gradyan yükseltmeye kıyasla aşırı uyumu önemli ölçüde azaltır.
- Karışık özellik türlerini, eksik değerleri ve dengesiz hedefleri kapsamlı ön işleme olmadan ele alır.
- Yerleşik özellik önemi ve SHAP entegrasyonu, sonradan açıklama desteği sağlar.
- Öğrenme oranı ve ağaç derinliği hiperparametreleri, yanlılık-varyans takası üzerinde ince ayarlı kontrol sağlar.
- XGBoost, LightGBM ve CatBoost gibi uygulamalar aracılığıyla milyonlarca gözleme verimli bir şekilde ölçeklenir.
- L1 yaprak ağırlığı seyreltmesi sayesinde alakasız özelliklere karşı sağlamdır.
- Birkaç hiperparametre (öğrenme oranı, n_estimators, max_depth, lambda, alpha, gamma) ayarlanmalıdır; varsayılanlar nadiren optimal sonuçlar verir.
- Yorumlanabilir katsayılar üretmez; açıklama SHAP veya kısmi bağımlılık grafikleri gibi ek araçlar gerektirir.
- Eğitim maliyeti veri boyutu, ağaç derinliği ve yükseltme turu sayısı ile artar.
- Çok küçük veri kümelerinde (n ~100'ün altında), regülerize yükseltme hala aşırı uyum sağlayabilir ve çapraz doğrulama tahminleri güvenilmez hale gelir.
SSS
XGBoost'ta lambda ve alpha arasındaki pratik fark nedir?
Lambda, tüm yaprak ağırlıklarını sıfıra doğru düzgün bir şekilde küçülten, kararlılığı artıran L2 cezasıdır. Alpha, küçük ağırlıkları tam olarak sıfıra iten, zayıf yaprakları etkili bir şekilde kaldıran L1 cezasıdır. L2 genellikle önce uygulanır; seyreklik istediğinizde veya çok sayıda alakasız özelliğiniz olduğunda L1 eklenir.
Regülerize gradyan yükseltme, düz gradyan yükseltmeden nasıl farklıdır?
Düz gradyan yükseltme, karmaşıklığı esas olarak ağaç derinliği ve öğrenme oranı aracılığıyla kontrol eder. Regülerize gradyan yükseltme, ek olarak yaprak sayısını (gamma) ve yaprak ağırlıklarını (lambda, alpha) doğrudan bölme-kazanç formülünde cezalandırır, böylece eklenen karmaşıklıklarını haklı çıkarmayan bölmeler, ağaç oluşturma sırasında reddedilir, sonrasında değil.
XGBoost, LightGBM veya CatBoost'u mu tercih etmeliyim?
Üçü de hafif algoritmik farklılıklarla regülerize gradyan yükseltmeyi uygular: LightGBM yaprak bazlı ağaç büyümesi kullanır ve büyük veri kümelerinde en hızlıdır; CatBoost sıralı yükseltme ile kategorik özellikleri doğal olarak işler; XGBoost en yaygın olarak kıyaslanan modeldir. Herhangi biriyle başlayın ve ayarlayın; performans farklılıkları genellikle hiperparametre ayarlamasının etkisinden daha küçüktür.
Öğrenme oranını nasıl seçerim?
Doğrulama kümesine dayalı erken durdurma ile birleştirilmiş küçük bir öğrenme oranı (0.01–0.1) standart stratejidir. Daha düşük oranlar daha fazla ağaç gerektirir ancak tipik olarak daha iyi genelleme sağlar. n_estimators'ı yüksek ayarlayın ve optimal tur sayısını otomatik olarak bulmak için early_stopping_rounds kullanın.
Regülerize gradyan yükseltme küçük veri kümeleri için uygun mudur?
Dikkatli ayarlama ve çapraz doğrulama ile birkaç yüz gözlem kadar küçük veri kümelerinde çalışabilir, ancak hiperparametre seçiminin varyansı yaklaşık 100 satırın altında bir sorun haline gelir. Çok küçük örnekler için, cezalı doğrusal modeller veya basit karar ağaçları daha güvenlidir.
Kaynaklar
- Chen, T. & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. DOI: 10.1145/2939672.2939785 ↗
- Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232. DOI: 10.1214/aos/1013203451 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Gradient Boosting (L1/L2-Penalized Additive Tree Ensemble). ScholarGate. https://scholargate.app/tr/machine-learning/regularized-gradient-boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- YükseltmeMakine öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- LightGBMMakine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Karar AğacıMakine öğrenmesi↔ karşılaştır
- Regularized Random ForestMakine öğrenmesi↔ karşılaştır