Boosting Ensemble
Boosting Ensemble Method · Ayrıca şöyle bilinir: adaptive boosting, sequential ensemble
Boosting, zayıf öğrenicileri sıralı olarak eğiten ve önceki modellerin yanlış sınıflandırdığı örneklere odaklanarak bunları güçlü bir tahminciye dönüştüren bir topluluk yöntemidir. Her yeni zayıf öğrenici, eğitim görevinin zorluğuna göre ağırlıklandırılır ve nihai tahminler ağırlıklı oylama yoluyla yapılır. Schapire (1990) tarafından öncülüğü yapılan ve AdaBoost (Freund & Schapire, 1997) ile geliştirilen boosting, zayıf öğrenicileri (rastgelelikten biraz daha iyi) sıralı yeniden ağırlıklandırma yoluyla güçlü öğrenicilere dönüştürür.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Zayıf öğrenicileriniz olduğunda ve bunları güçlü bir topluluğa dönüştürmek istediğinizde boosting kullanın. Hem yanlılığı hem de varyansı azaltmada özellikle etkilidir. Boosting, orta karmaşıklıktaki taban öğrenicilerle (örneğin, sığ ağaçlar, derinlik 3-4) en iyi şekilde çalışır ve bunlar yinelemeli olarak geliştirilebilir. Taban öğreniciler zaten güçlüyse veya hızlı eğitime ihtiyacınız varsa boosting'den kaçının, çünkü sıralı boosting hesaplama açısından pahalıdır.
Güçlü yönler & sınırlılıklar
- Hem yanlılığı hem de varyansı azaltır, genellikle üstün genelleme performansı elde eder.
- Zayıf öğrenicileri yinelemeli yeniden ağırlıklandırma yoluyla güçlü öğrenicilere dönüştürür.
- Hata azaltma konusunda teorik garantiler (belirli koşullar altında).
- Karar ağaçları gibi düşük yanlılık, yüksek varyanslı taban öğrenicilerle iyi çalışır.
- Eğitim verilerindeki ilgisiz özelliklere ve gürültüye karşı dayanıklıdır.
- Sıralı eğitim, bagging gibi paralel yöntemlere kıyasla hesaplama açısından pahalıdır.
- Gürültülü verilere ve aykırı değerlere duyarlıdır (zor örneklere aşırı ağırlık verir).
- Öğrenme oranı, yineleme sayısı ve taban öğrenici karmaşıklığının dikkatli ayarlanmasını gerektirir.
- Yineleme sayısı çok fazlaysa aşırı uyum sağlayabilir; erken durdurma veya doğrulama izlemesi gerektirir.
SSS
Zayıf öğrenici nedir ve ne kadar zayıf olmalıdır?
Zayıf öğrenici, hata oranı %50'nin biraz altında olan bir sınıflandırıcıdır (rastgele tahminlerden daha iyi). Pratikte, 2-3 derinliğinde karar ağaçları veya kısa doğrusal sınıflandırıcılar gibi basit modeller kullanılır. Taban öğrenicinin hata oranı > %45 ise, boosting onu iyileştirecektir; eğer < %10 ise, öğrenici çok güçlüdür ve boosting çok az değer katar.
Kaç yineleme boosting kullanmalıyım?
50-100 yineleme ile başlayın ve doğrulama hatasını izleyin. Erken durdurma kullanın: doğrulama hatası birkaç yineleme boyunca durağanlaşırsa veya artarsa, eğitimi durdurun. Üretim için, veri boyutuna ve karmaşıklığına bağlı olarak tipik olarak 100-1000 yineleme kullanılır.
Boosting, bagging'den nasıl farklıdır?
Bagging, rastgele alt kümeler üzerinde taban öğrenicileri paralel olarak eğitir ve tahminleri ortalar (ağırlıklandırma yok). Boosting sıralı olarak eğitir, zor örnekleri yeniden ağırlıklandırır ve ağırlıklı oylama kullanır. Bagging varyansı azaltır; boosting hem yanlılığı hem de varyansı azaltır. Bagging daha hızlıdır; boosting daha güçlüdür.
Boosting neden çok fazla yineleme ile aşırı uyum sağlar?
Yinelemeler arttıkça, aykırı değerler üzerindeki ağırlıklar üstel olarak artar, bu da topluluğun gürültüye uyum sağlamasına neden olur. Eğitim hatası azalmaya devam eder, ancak test hatası artabilir. Doğrulama hatasını izleyin ve artmaya başladığında durdurun, aşırı uyumu önlemek için erken durdurmayı kullanın.
Kaynaklar
- Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227. DOI: 10.1023/A:1022648800760 ↗
- Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139. DOI: 10.1006/jcss.1997.1504 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Boosting Ensemble Method. ScholarGate. https://scholargate.app/tr/ensemble-learning/boosting-ensemble
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- AdaBoostMakine öğrenmesi↔ karşılaştır
- Bagging EnsembleTopluluk öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- Çoğunluk OylamasıTopluluk öğrenmesi↔ karşılaştır