Yükseltme
Boosting (Ensemble of Sequentially Weighted Weak Learners) · Ayrıca şöyle bilinir: AdaBoost, gradient boosting, iterative reweighting ensemble, sequential ensemble
Yükseltme, önceki öğrenicilerin yanlış yaptığı örnekler üzerinde tekrarlı olarak odaklanarak, rastgelelikten biraz daha iyi olan birçok basit öğreniciyi tek bir yüksek doğruluklu modele dönüştüren ve ardından tüm öğrenicileri bireysel doğruluklarıyla orantılı ağırlıklarla birleştiren sıralı bir topluluk tekniğidir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+28 tane daha
Ne zaman kullanılır
Tablosal sınıflandırma veya regresyon görevinde yüksek tahmin doğruluğu gerektiğinde ve makul büyüklükte etiketlenmiş bir veri kümeniz olduğunda (genellikle sınırsız gözlem başına en az 50-100 gözlem) yükseltmeyi kullanın. Karmaşık, doğrusal olmayan ilişkilere sahip yapılandırılmış veriler üzerinde mükemmeldir ve karışık özellik türlerini iyi işler. Somut uygulamalar — sınıflandırma için AdaBoost, regresyon ve sınıflandırma için gradyan yükseltme — olağan seçimlerdir. Veri kalitesi düşük olduğunda veya etiketler gürültülü olduğunda yükseltmeden kaçının, çünkü sıralı yeniden ağırlıklandırma gürültülü etiketleri agresif bir şekilde yükseltir ve aşırı uyuma yol açar. Ayrıca, açık katsayılara sahip basit, yorumlanabilir bir model gerektiğinde (örneğin, düzenleyici veya klinik raporlama için) veya eğitim süresi kısıtlı olduğunda da kaçının.
Güçlü yönler & sınırlılıklar
- Tablosal verilerde son teknoloji doğruluğu elde eder, ayarlandığında genellikle rastgele ormanlardan daha iyi performans gösterir.
- Yinelemeli yeniden ağırlıklandırma yoluyla zor örneklere otomatik olarak odaklanır, bu da onu uygun kayıp fonksiyonlarıyla dengesiz verilerde etkili kılar.
- Çeşitli temel öğrenicilerle çalışır; sığ ağaçlar (kısa ağaçlar) yaygın ve etkili bir seçimdir.
- Gradyan yükseltme uzantıları, regresyon, sıralama ve sınıflandırma için geniş bir kayıp fonksiyonu yelpazesini destekler.
- Modern uygulamalar (XGBoost, LightGBM, CatBoost) yüksek oranda optimize edilmiştir ve büyük veri kümelerine ölçeklenir.
- Gürültülü etiketlere ve aykırı değerlere karşı oldukça hassastır: zor örneklerin ağırlıklandırılması yanlış etiketlenmiş noktaları yükseltir.
- Düzenlileştirme (öğrenme oranı, ağaç derinliği, alt örnekleme) dikkatlice ayarlanmadıkça küçük veri kümelerinde aşırı uyuma eğilimlidir.
- Sıralı eğitim, rastgele ormanlar gibi torbalama tabanlı yöntemlere göre doğası gereği paralelleştirmeye daha yavaştır.
- Doğruluk avantajını gerçekleştirmek için dikkatli hiperparametre ayarı (tur sayısı, öğrenme oranı, ağaç derinliği) gerektirir.
SSS
Yükseltme ve torbalama (rastgele orman) arasındaki fark nedir?
Torbalama, bootstrap örneklerinde bağımsız ağaçları paralel olarak eğitir ve tahminlerini ortalar, bu da öncelikle varyansı azaltır. Yükseltme, her biri bir öncekinin hatalarını düzelten ağaçları sıralı olarak eğitir, öncelikle yanlılığı azaltır. Yükseltme genellikle daha yüksek doğruluk elde eder ancak gürültülü verilerde aşırı uyuma daha eğilimlidir.
Hangi yükseltme algoritmasını kullanmalıyım?
AdaBoost, ikili sınıflandırma için iyi bir başlangıç noktasıdır. Çoğu tablosal regresyon veya sınıflandırma görevi için, XGBoost, LightGBM veya CatBoost gibi gradyan yükseltme uygulamaları pratik seçeneklerdir; orijinal AdaBoost'tan daha iyi düzenlileştirme ve ölçeklendirme eklerler.
Yükseltme ile aşırı uyumu nasıl önlerim?
Düşük bir öğrenme oranı (0.01–0.1) ile daha fazla sayıda tur birleştirin ve ayrılmış bir doğrulama kümesi üzerinde erken durdurmayı uygulayın. Ayrıca ağaç derinliğini düzenleyin (tipik olarak max_depth 3–6) ve ağaç başına satır ve sütun alt örneklemesini düşünün.
Yükseltme sınıf dengesizliğini ele alabilir mi?
Evet, gradyan yükseltme çerçeveleri sınıf ağırlıklarını ayarlamanıza veya özel kayıp fonksiyonları kullanmanıza olanak tanır. AdaBoost'un doğal yeniden ağırlıklandırması da yardımcı olur, ancak azınlık sınıfındaki gürültüyü de yükseltebilir, bu nedenle ön işleme (aşırı örnekleme veya az örnekleme) hala faydalı olabilir.
Yükseltme yorumlanabilir mi?
Yükseltme toplulukları, doğrusal modellerin olduğu şekilde doğrudan yorumlanabilir değildir. Ancak, yerleşik özellik önem puanları ve SHAP değerleri gibi sonradan kullanılan araçlar bireysel tahminleri açıklayabilir, bu da onları birçok uygulamalı araştırma bağlamında kabul edilebilir kılar.
Kaynaklar
- Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139. DOI: 10.1006/jcss.1997.1504 ↗
- Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227. DOI: 10.1007/BF00116037 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Boosting (Ensemble of Sequentially Weighted Weak Learners). ScholarGate. https://scholargate.app/tr/machine-learning/boosting
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bagging (Önyükleme Toplama)Makine öğrenmesi↔ karşılaştır
- Karar AğacıMakine öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır
- Oy Birliği TopluluğuMakine öğrenmesi↔ karşılaştır