Düzenlileştirilmiş Yükseltme (Regularized Boosting)
Regularized Gradient Boosting (Shrinkage and Penalized Objective Boosting) · Ayrıca şöyle bilinir: shrinkage boosting, penalized boosting, regularized gradient boosting, L1/L2 boosting
Düzenlileştirilmiş yükseltme, hedef fonksiyonuna ve güncelleme kuralına açık kontroller ekleyerek — küçülme (öğrenme oranı), L1/L2 ağırlık cezaları, alt örnekleme ve ağaç karmaşıklığı sınırları — gradyan yükseltmeyi genişletir. Bu kısıtlamalar aşırı uydurmayı azaltır, gürültülü veya küçük veri kümelerinde modeli stabilize eder ve XGBoost ve LightGBM gibi sistemlerin gerçek dünya tablo karşılaştırmalarında standart yükseltmeyi tutarlı bir şekilde geride bırakmasının temel nedenidir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Tablo verilerinde (sınıflandırma, regresyon veya sıralama) son teknoloji doğruluğa ihtiyaç duyduğunuzda ve en az birkaç yüz gözleminiz, hiperparametre ayarlaması için yeterli hesaplama gücünüz olduğunda ve daha az yorumlanabilir bir modeli tolere edebildiğinizde düzenlileştirilmiş yükseltmeyi kullanın. Özellikle standart yükseltme aşırı uydurma yaptığında (küçük veri kümesi, gürültülü özellikler, yüksek boyutluluk) değerlidir. Neredeyse tüm pratik durumlarda, düzenlileştirilmemiş yükseltmeye tercih edin — düzenlileştirme parametreleri varsayılan olarak güvenlidir ve ayarlanabilir. Nedensel çıkarım için şeffaf doğrusal katsayılara ihtiyaç duyduğunuzda, veri kümesi çok küçük olduğunda (yaklaşık 50 satırın altında) veya eğitim süresi ciddi şekilde kısıtlıysa ve daha basit bir düzenlileştirilmiş model (ridge regresyonu, düzenlileştirilmiş lojistik regresyon) yeterliyse bundan kaçının.
Güçlü yönler & sınırlılıklar
- Gürültülü veya yüksek boyutlu verilerde, düzenlileştirilmemiş yükseltmeye kıyasla aşırı uydurmayı önemli ölçüde azaltır.
- L1 cezası, yaprak ağırlıklarında seyrekliği teşvik ederek otomatik bir özellik seçimi biçimi sağlar.
- Küçülme, hiçbir tekil ağacın baskın olmamasını sağlayarak daha iyi genelleştirme ile daha pürüzsüz bir topluluk oluşturur.
- Esnek: düzenlileştirme gücü, birden çok dik kontrol (öğrenme oranı, lambda, alfa, maksimum derinlik, minimum çocuk ağırlığı) aracılığıyla ayarlanabilir.
- Tüm büyük yükseltme uygulamalarıyla (XGBoost, LightGBM, CatBoost, scikit-learn GBM) uyumludur.
- Dikkatli hiperparametre ayarlaması ile yapılandırılmış Kaggle tarzı karşılaştırmalarda genellikle en iyi performansı elde eder.
- Birçok düzenlileştirme hiperparametresi etkileşim halindedir, bu da ayarlamayı karmaşık ve hesaplama açısından pahalı hale getirir.
- Yorumlanabilirlik sınırlı kalır; tahminleri açıklamak için SHAP veya LIME araçları gerekir.
- Düzenlileştirmenin düzgün çalışması için anlamlı miktarda veriye (en az birkaç yüz satır) ihtiyaç duyar.
- Eğitim sıralıdır ve yükseltme turları boyunca önemsizce paralelleştirilemez, ancak ağaç düzeyinde paralellik yardımcı olur.
- Öğrenme oranı çok düşük ayarlanırsa ve ağaç sayısında telafi edici bir artış olmazsa aşırı uydurma riski.
SSS
Düzenlileştirilmiş yükseltmedeki en önemli düzenlileştirme parametresi nedir?
Öğrenme oranı (küçülme) genellikle en etkili tek parametredir. Daha az değer ve daha fazla ağaç neredeyse her zaman genelleştirmeyi iyileştirir. Öğrenme oranını sabitledikten sonra, max_depth, min_child_weight ve L2 cezası (lambda) ayarlamak genellikle bir sonraki en büyük kazançları sağlar.
Düzenlileştirilmiş yükseltme, standart gradyan yükseltmeden nasıl farklıdır?
Standart gradyan yükseltme, yalnızca öğrenme oranını ve ağaç derinliğini örtük düzenlileştirme olarak kullanır. Düzenlileştirilmiş yükseltme, yaprak ağırlıkları üzerine açık L1 (alfa) ve L2 (lambda) cezaları ve yaprak sayısına bir ceza ekler, doğrudan bölme bulma hedefine kodlanır. Bu, düzenlileştirmeyi daha ilkeli ve ayarlanabilir hale getirir.
Erken durdurmayı düzenlileştirme ile birlikte kullanmalı mıyım?
Evet. Güçlü düzenlileştirme ile bile, çok fazla tur için eğitim yapmak hala genelleştirmeyi bozabilir. Tutulmuş bir doğrulama kümesinde erken durdurma, doğrulama metriği iyileşmeyi durdurduğunda eğitimi durdurur ve tamamlayıcı bir güvenlik önlemi sağlar.
Düzenlileştirilmiş yükseltme, düzenlileştirilmiş rastgele ormandan daha mı iyidir?
Evrensel olarak değil. Düzenlileştirilmiş yükseltme, dikkatli ayarlama ile genellikle daha yüksek tepe doğruluğu elde eder, ancak hiperparametrelere daha duyarlıdır ve daha fazla ayarlama çabası gerektirir. Düzenlileştirilmiş rastgele ormanlar, ayarlama kaynakları sınırlı olduğunda daha iyi bir başlangıç noktası olmalarını sağlayan, varsayılan olarak daha hızlı ayarlanır ve daha sağlamdır.
Düzenlileştirilmiş yükseltme eksik değerleri işleyebilir mi?
Evet, XGBoost ve LightGBM gibi uygulamalar eğitim sırasında eksik değerler için varsayılan bir bölme yönü öğrenir, bu nedenle açık bir atama gerekli değildir. Ancak, değerlerin neden eksik olduğunu anlamak hala model kalitesini artırabilir.
Kaynaklar
- Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232. DOI: 10.1214/aos/1013203451 ↗
- Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. DOI: 10.1145/2939672.2939785 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Gradient Boosting (Shrinkage and Penalized Objective Boosting). ScholarGate. https://scholargate.app/tr/machine-learning/regularized-boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- YükseltmeMakine öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- Regülerize Gradyan YükseltmeMakine öğrenmesi↔ karşılaştır
- Regularized Random ForestMakine öğrenmesi↔ karşılaştır