Sağlam Gradyan Artırma
Robust Gradient Boosting (Gradient Boosting with Robust Loss Functions) · Ayrıca şöyle bilinir: gradient boosting with Huber loss, robust GBM, outlier-robust boosting, robust gradient-boosted trees
Sağlam Gradyan Artırma, karesel hata kaybı yerine aykırı değerlere dayanıklı kayıp fonksiyonları (en yaygın olarak Huber kaybı veya kantil (pinball) kaybı) ile eğitilmiş gradyan artırmadır. Friedman'ın 2001 tarihli temel makalesinde önerilen bu varyant, aşırı değerler veya hatalı etiketler tarafından daha az çarpıtılmış tahminler üretirken, gradyanla artırılmış ağaçların tam tahmin gücünü korur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+1 tane daha
Ne zaman kullanılır
Regresyon veya sıralama hedefinizin aykırı değerler, ölçüm hataları veya ağır kuyruklu gürültü içerdiği biliniyorsa veya şüpheleniliyorsa - örneğin sensör okumaları, finansal getiriler, klinik biyobelirteçler veya kendi kendine bildirilen anket verileri - Sağlam Gradyan Artırmayı kullanın. Özellikle modellemeden önce aykırı değerleri manuel olarak tespit edip kaldırmaya vaktiniz olmadığında değerlidir. Huber eşik delta çapraz doğrulama yoluyla ayarlanmalıdır; kantil kaybı varyantı, koşullu ortalama yerine belirli bir yüzdelik dilimi tahmin etmek istediğinizde tercih edilir. Lütfen uygun keşifsel veri analizinin yerine geçmediğini unutmayın: aykırı değerler gerçek bilimsel anlama sahipse (nadir olaylar, dolandırıcılık sinyalleri) açıkça modellenmelidir, aşağı ağırlıklandırılmamalıdır. Sınıflandırma görevleri için, standart çapraz entropi kaybı zaten nispeten sağlamdır ve bu varyant sınırlı ek fayda sunar.
Güçlü yönler & sınırlılıklar
- Manuel aykırı değer kaldırma gerektirmeden regresyon tahminleri üzerindeki aykırı değerlerin ve ağır kuyruklu gürültünün etkisini önemli ölçüde azaltır.
- Temiz verilerde standart gradyan artırmanın tüm tahmin gücünü korur, aykırı değer kontaminasyonu düşük olduğunda yalnızca küçük bir doğruluk maliyetiyle.
- Huber eşik delta, yanlılık-sağlamlık ödünleşmesi üzerinde ilkeli, ayarlanabilir bir kontrol sağlar.
- Başlıca gradyan artırma çerçeveleriyle uyumludur (scikit-learn GradientBoostingRegressor loss='huber', XGBoost reg:pseudohubererror) ve bu nedenle dağıtımı kolaydır.
- Standart gradyan artırma ile aynı şekilde özellik önemi ve SHAP açıklanabilirliğini destekler.
- Tahmin aralıkları ve asimetrik hata cezaları için kantil kaybı ile de kullanılabilir.
- Olağan artırma hiperparametrelerinin üzerine ek Huber eşik hiperparametresi delta'nın ayarlanmasını gerektirir, arama alanını ve eğitim maliyetini artırır.
- Verilerin temiz ve normal dağılmış olduğu durumlarda standart gradyan artırmaya göre çok az fayda sağlar; bu durumda ek karmaşıklık gereksizdir.
- Sınırlı sözde artıklar, karesel hata artırmaya kıyasla yakınsamayı yavaşlatabilir, bazen eşdeğer eğitim kaybına ulaşmak için daha fazla yineleme gerektirebilir.
- Teorik özellikleri (tutarlılık, optimal oranlar), karesel hata kaybı ile standart gradyan artırmanınkinden daha az kapsamlı incelenmiştir.
SSS
Huber eşik delta'yı nasıl seçerim?
Delta, ilk geçiş modelinden tipik artıkların ölçeğine yakın ayarlanmalıdır. Pratik bir yaklaşım, standart gradyan artırmayı uydurmak, mutlak artıkların alfa-ıncı kantilini hesaplamak (örneğin, alfa=0.9) ve bunu delta olarak kullanmaktır. Ardından çapraz doğrulama ızgara araması yoluyla iyileştirin.
Sağlam Gradyan Artırma standart kütüphanelerde mevcut mu?
Evet. Scikit-learn'in GradientBoostingRegressor'ı loss='huber' ve loss='quantile' destekler. XGBoost reg:pseudohubererror'ı destekler. LightGBM, benzer sağlamlık özelliklerine sahip regression_l1 (mutlak hata) destekler. Hepsi SHAP tabanlı açıklamayı destekler.
Kantil kaybını Huber kaybına ne zaman tercih etmeliyim?
Hedef dağılımının belirli bir yüzdelik dilimini tahmin etmek istediğinizde - örneğin üst sınır talep tahmini için 90. yüzdelik dilim - veya aşırı ve eksik tahminin maliyetinin asimetrik olduğu durumlarda kantil (pinball) kaybını kullanın. Koşullu ortalamanın sağlam bir tahminini istediğinizde Huber kaybını kullanın.
Aykırı değerlere karşı sağlamlık aşırı uyumdan korur mu?
Hayır. Aykırı değer sağlamlığı ve aşırı uyum bağımsız konulardır. Hangi kayıp fonksiyonunu kullanırsanız kullanın, yine de çapraz doğrulama, düzenlileştirme (daraltma, alt örnekleme, ağaç derinliği) ve ayrılmış bir test kümesine ihtiyacınız vardır.
Bu, aykırı değerleri kaldırmaktan ve standart gradyan artırmayı çalıştırmaktan nasıl farklıdır?
Aykırı değerleri kaldırmak, bilimsel olarak anlamlı gözlemleri atabilen veya yanlılık getirebilen ayrı, genellikle öznel bir adım gerektirir. Sağlam kayıp, herhangi bir veri noktasını dışlamadan eğitim sırasında aşırı artıkları otomatik ve sürekli olarak aşağı ağırlıklandırır, bu da süreci daha ilkeli ve tekrarlanabilir hale getirir.
Kaynaklar
- Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232. DOI: 10.1214/aos/1013203451 ↗
- Huber, P. J. (1964). Robust Estimation of a Location Parameter. Annals of Mathematical Statistics, 35(1), 73–101. DOI: 10.1214/aoms/1177703732 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Robust Gradient Boosting (Gradient Boosting with Robust Loss Functions). ScholarGate. https://scholargate.app/tr/machine-learning/robust-gradient-boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- YükseltmeMakine öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır
- Regülerize Gradyan YükseltmeMakine öğrenmesi↔ karşılaştır
- Sağlam Doğrusal RegresyonMakine öğrenmesi↔ karşılaştır