Gradient Boosting (Gradyan Artırma)
Gradient Boosting Machine (Ensemble of Additive Decision Trees) · Ayrıca şöyle bilinir: Gradient Boosting Machine, GBM, Gradient Tree Boosting, Stochastic Gradient Boosting
Gradient Boosting, Jerome Friedman tarafından 2001 yılında tanıtılan ve her biri önceki topluluğun hatalarını düzelten sığ karar ağaçlarını sıralı olarak ekleyerek güçlü bir tahmin modeli oluşturan bir topluluk yöntemidir. Problemi fonksiyon uzayında gradyan inişi olarak çerçeveleyerek, tablo verileri üzerinde sınıflandırma, regresyon ve sıralama görevlerinde son teknoloji doğruluğu elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Gradient boosting, tablo verileri tahmin görevleri — sınıflandırma, regresyon ve sıralama — için ilk tercih yöntemidir, özellikle de katsayı yorumlanabilirliğinden daha fazla tahmin doğruluğunu en üst düzeye çıkarmak önemli olduğunda. Doğrusal olmayan ilişkileri ve karmaşık özellik etkileşimlerini otomatik olarak ele alır, karışık veri türlerini tolere eder ve normalite varsaymaz. En az birkaç yüz gözleminiz olduğunda ve ayarlama yapmaya gücünüz yettiğinde kullanın. Açık katsayılar veya olasılık oranları gerektiğinde (bunun yerine lojistik veya doğrusal regresyon kullanın), veriler çok küçük olduğunda (yaklaşık 100 satırın altında), hızlı gerçek zamanlı yeniden eğitim gerektiğinde (Random Forest'tan daha yavaş yeniden eğitilir) veya ilişki basit bir doğrusal model tarafından iyi yaklaşıldığında kaçının.
Güçlü yönler & sınırlılıklar
- Tablo verileri kıyaslamalarında ve veri bilimi yarışmalarında tutarlı bir şekilde en yüksek tahmin doğruluğunu elde eder.
- Esnek kayıp fonksiyonları regresyon, sınıflandırma, sıralama ve hayatta kalma görevleri için kullanımına olanak tanır.
- Öğrenme oranı, ağaç derinliği ve alt örnekleme yoluyla yerleşik düzenlileştirme aşırı uyumu azaltır.
- Yerleşik özellik önemi puanları, SHAP ile değişken seçimi ve yorumlanabilirlik artışını sağlar.
- Rastgele varyant (sütun ve satır alt örneklemesi) varyansı daha da kontrol eder ve eğitimi hızlandırır.
- Modern uygulamalar (XGBoost, LightGBM, CatBoost) büyük veri kümelerine verimli bir şekilde ölçeklenir.
- Sıralı ağaç oluşturma, özellikle GPU desteği olmadan eğitim süresini bagging toplulukları (Random Forest gibi) kadar yavaşlatır.
- Hiperparametrelere (ağaç sayısı, öğrenme oranı, derinlik, alt örnekleme oranları) duyarlıdır — dikkatli ayarlama gereklidir.
- Yorumlanabilir katsayılar üretmez; kara kutu doğası, sonradan açıklama olmadan düzenlenmiş alanlarda kabul edilemez olabilir.
- Tur sayısı ve derinlik kısıtlanmadığında küçük veya gürültülü veri kümelerinde aşırı uyuma eğilimlidir.
- Bellek ve çıkarım maliyeti, ağaç sayısıyla ölçeklenir, bu da kenar dağıtımı için engelleyici olabilir.
SSS
Gradient boosting, Random Forest'tan nasıl farklıdır?
Random Forest, bootstrap örnekleri üzerinde paralel olarak ağaçlar oluşturur ve bağımsız oylarının ortalamasını alır. Gradient boosting, her ağacın mevcut topluluğun artık hatalarını özel olarak düzelttiği sıralı ağaçlar oluşturur. Bu sıralı düzeltme, genellikle gradient boosting'e daha yüksek doğruluk, ancak aynı zamanda hiperparametrelere karşı daha yüksek hassasiyet ve aşırı uyum riski verir.
Kaç artırma turu kullanmalıyım?
Optimal ağaç sayısı, öğrenme oranına ve problemin karmaşıklığına bağlıdır. Yaygın bir yaklaşım, öğrenme oranını düşük (0.01–0.05) ayarlamak, büyük bir üst sınır (500–2000 ağaç) kullanmak ve bir doğrulama seti metriğine dayalı olarak erken durdurma uygulamak, performans iyileşmeyi durdurduğunda durmaktır.
Hangi uygulamayı kullanmalıyım — sklearn, XGBoost, LightGBM veya CatBoost?
Hepsi aynı temel algoritmayı uygular. XGBoost, LightGBM ve CatBoost, büyük veriler için sklearn'in GradientBoostingClassifier'ından daha hızlı ve daha ölçeklenebilirdir. LightGBM, çok büyük veri kümelerinde en hızlı eğitimi sağlar; CatBoost, kategorik özellikleri manuel kodlama olmadan yerel olarak işler; XGBoost en geniş ekosistem desteğine sahiptir.
Gradient boosting eksik değerleri işleyebilir mi?
XGBoost ve LightGBM gibi modern uygulamalar, her bölünmede eksik gözlemleri hangi yöne göndereceğini öğrenerek eksik değerleri yerel olarak işler. Sklearn'in uygulaması, uydurmadan önce doldurma gerektirir.
Gradient boosting küçük örnekler için uygun mudur?
Güvenilir değil. Yaklaşık 100 gözlemden az olduğunda, gradient boosting düzenlileştirme ile bile aşırı uyuma eğilimindedir. Lojistik regresyon veya düzenlileştirilmiş doğrusal regresyon gibi daha basit modeller küçük örnekler için daha uygundur.
Kaynaklar
- Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. Annals of Statistics, 29(5), 1189–1232. DOI: 10.1214/aos/1013203451 ↗
- Friedman, J. H. (2002). Stochastic gradient boosting. Computational Statistics and Data Analysis, 38(4), 367–378. DOI: 10.1016/S0167-9473(01)00065-2 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Gradient Boosting Machine (Ensemble of Additive Decision Trees). ScholarGate. https://scholargate.app/tr/machine-learning/ensemble-gradient-boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- AdaBoostMakine öğrenmesi↔ karşılaştır
- CatBoostMakine öğrenmesi↔ karşılaştır
- Karar AğacıMakine öğrenmesi↔ karşılaştır
- LightGBMMakine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır