Gradyan Artırma
Gradient Boosting Machine (Friedman's Gradient Boosting) · Ayrıca şöyle bilinir: Gradient Boosting (GBM), GBM, gradient boosted trees, gradient boosting machine
Gradyan Artırma, 2001 yılında Jerome H. Friedman tarafından biçimlendirilen bir topluluk öğrenme yöntemidir; bu yöntem, zayıf öğrenicilerin bir dizisini – tipik olarak sığ karar ağaçları – birleştirir, böylece her yeni ağaç kendisinden önceki ağaçların artık hatalarını en aza indirecek şekilde uydurulur. XGBoost, LightGBM ve CatBoost gibi popüler uygulamaların arkasındaki temel algoritmadır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+37 tane daha
Ne zaman kullanılır
En az yaklaşık 100 gözlemle, sürekli, kategorik, ikili ve sıralı özellikler arasında, kesitsel veya panel tablo verilerinde doğru sınıflandırma ve tahmin için güçlü bir seçimdir. Özellik ölçeklendirme genellikle gerekli değildir, ancak ağaç sayısı, öğrenme oranı ve maksimum derinlik gibi hiperparametre ayarı kritiktir ve aşırı uyumdan korunmak için erken durdurma önerilir. Yaklaşık 100 gözlemden az olduğunda, sıralı ağaçlar gürültüyü ezberlemeye eğilimlidir ve Rastgele Orman veya tek bir karar ağacı daha güvenlidir.
Güçlü yönler & sınırlılıklar
- Tablo verilerinde hem sınıflandırma hem de tahmin için çok yüksek tahmin doğruluğu.
- Özellik ölçeklendirme genellikle gereksizdir ve sürekli, kategorik, ikili ve sıralı özelliklerle başa çıkar.
- XGBoost, LightGBM ve CatBoost gibi yaygın olarak kullanılan kütüphanelerin arkasındaki temel algoritmayı oluşturur.
- Erken durdurma ve küçük bir öğrenme oranı, yanlılık-varyans ödünleşimi üzerinde ince kontrol sağlar.
- Ağaç sayısı, öğrenme oranı ve maksimum derinlik gibi hiperparametre ayarı kritiktir ve zaman alıcıdır.
- Sıralı artırma, düzenlenmezse aşırı uyuma eğilimlidir, bu nedenle erken durdurma önerilir.
- Küçük örneklerde (n yaklaşık 100'ün altında) sıralı ağaçlar gürültüyü ezberler ve erken durdurma bile yetersizdir.
- Çok az veriyle, hiperparametreleri güvenilir bir şekilde optimize etmek için yeterli çapraz doğrulama materyali yoktur.
SSS
Gradyan Artırma, Rastgele Orman'dan nasıl farklıdır?
Rastgele Orman, paralel olarak birçok bağımsız ağaç oluşturur ve bunları ortalar, oysa Gradyan Artırma ağaçları sıralı olarak oluşturur, her biri öncekilerin artık hatalarını düzeltmek için uydurulur. Artırma genellikle daha yüksek doğruluk elde eder ancak aşırı uyuma daha duyarlıdır ve dikkatli ayar gerektirir.
Erken durdurma neden önerilir?
Her yeni ağaç kalan hatayı kovaladığı için, aşırı uzun bir artırma çalıştırması gürültüyü uydurmaya başlar. Erken durdurma, doğrulama performansı iyileşmeyi durdurduğunda eğitimi durdurur, bu da aşırı uyuma karşı ana güvenlik önlemidir.
Özelliklerimi ölçeklendirmem gerekiyor mu?
Ağaç tabanlı gradyan artırma için özellik ölçeklendirme genellikle gerekli değildir, çünkü bölmeler büyüklükten ziyade sıraya bağlıdır. Kritik ayarlar bunun yerine ağaç sayısı, öğrenme oranı ve ağaç derinliğidir.
Ne kadar örnek boyutu gerekiyor?
En az yaklaşık 100 gözlem. Bunun altında, sıralı ağaçlar gürültüyü ezberler ve erken durdurma bile yetersizdir, bu nedenle Rastgele Orman veya tek bir karar ağacı daha güvenli bir seçimdir.
Kaynaklar
- Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232. DOI: 10.1214/aos/1013203451 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 1). Gradient Boosting Machine (Friedman's Gradient Boosting). ScholarGate. https://scholargate.app/tr/machine-learning/gradient-boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Karar AğacıMakine öğrenmesi↔ karşılaştır
- LightGBMMakine öğrenmesi↔ karşılaştır
- Lojistik RegresyonAraştırma istatistiği↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır