Topluluksal Doğrusal Regresyon
Ensemble of Linear Regression Models (Bagged and Stacked Linear Regression) · Ayrıca şöyle bilinir: bagged linear regression, aggregated linear regression, stacked linear models, bootstrap-aggregated OLS
Topluluksal Doğrusal Regresyon, birden çok adi en küçük kareler modelini (her biri farklı bir bootstrap örneklemi veya özellik alt kümesi üzerinde uyulmuş) birleştirir ve tahminlerini ortalamasını alır. Breiman'ın torbalama (bagging) çerçevesine (1996) dayanan bu teknik, tek bir doğrusal regresyon uyumuna kıyasla varyansı azaltır ve tahmin kararlılığını iyileştirir, aynı zamanda doğrusal varsayımların yorumlanabilirliğini korur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Topluluksal Doğrusal Regresyon, tahmin ediciler ve sürekli bir sonuç arasındaki doğrusal bir ilişkinin beklendiği veya alan geleneği tarafından zorunlu kılındığı, ancak tek bir OLS uyumunun tekrarlanan örneklemler veya çapraz doğrulama katları boyunca yüksek varyans gösterdiği durumlarda uygundur. Özellikle veri seti orta derecede küçük olduğunda (yaklaşık 30-500 gözlem) adi regresyon katsayılarının kararsız olduğu durumlarda kullanışlıdır. İlişkinin açıkça doğrusal olmadığı ve ağaç tabanlı bir topluluğun daha iyi uyum sağlayacağı durumlarda veya tam katsayı yorumlanabilirliğinin (kesin p-değerleri, standart hatalar) raporlama için zorunlu olduğu durumlarda kullanmayın - ortalama katsayılar standart çıkarım mekanizmalarını taşımaz. Ayrıca, eğitim kümesi tek bir iyi düzenlileştirilmiş regresyonun (Ridge, Lasso) zaten kararlı tahminler sağladığı kadar büyük olmadığında da kaçının.
Güçlü yönler & sınırlılıklar
- Tek bir OLS uyumuna kıyasla tahmin varyansını, yeni bir model ailesi gerektirmeden azaltır.
- Ortalama katsayılar hala etki yönünü iletir, bir dereceye kadar yorumlanabilirliği korur.
- Dışarıda bırakılmış tahminler, ek veri maliyeti olmadan bir iç doğrulama tahmini sağlar.
- Herhangi bir standart doğrusal regresyon kütüphanesini bir bootstrap döngüsü içinde kullanarak uygulaması basittir.
- Daha fazla kararlılık için temel model düzeyinde düzenlileştirme (Ridge, Lasso) ile uyumludur.
- Önyargıyı azaltmaz: eğer tek bir doğrusal regresyon zaten önyargılıysa (yanlış fonksiyonel form), topluluk bu önyargıyı miras alır.
- OLS'nin temiz çıkarım mekanizmasını kaybeder - bireysel temel modellerden elde edilen p-değerleri ve güven aralıkları doğrudan yorumlanamaz.
- Tek bir uyumdan daha hesaplama açısından pahalıdır, ancak genellikle ağaç tabanlı topluluklarla karşılaştırıldığında önemsizdir.
- Veri seti büyük olduğunda ve kolineerlik ana sorun olduğunda iyi ayarlanmış Ridge veya Lasso regresyonuna göre hiçbir fayda sağlamaz.
SSS
Lasso temel modelleriyle birleştirildiğinde bootstrap uyumları boyunca sıfır olmayan katsayıların sıklığı yoluyla özellik seçimi.
Kaç bootstrap modeli kullanmalıyım?
100 ila 200 temel modelle başlayın. Dışarıda bırakılmış hata stabilize olana kadar artırın. Genellikle 500 modelden çok önce azalan getiriler görülür.
Bu, Ridge regresyonu ile aynı mı?
Hayır. Ridge regresyonu, kolineerliği ele almak için tek bir uyuma bir L2 cezası ekler. Topluluksal doğrusal regresyon, örnekleme kararsızlığından kaynaklanan varyansı azaltmak için bağımsız olarak uyulmuş birçok modeli ortalamasını alır. Bunlar birbirini tamamlayıcıdır: topluluktaki her temel model kendi başına bir Ridge regresyonu olabilir.
Katsayıları hala yorumlayabilir miyim?
Her katsayının B bootstrap uyumları boyunca ortalama ve standart sapmasını hesaplayabilirsiniz. Ortalama katsayı etki yönünü gösterir; standart sapma örnekleme değişkenliğini yansıtır. Ancak, bireysel OLS uyumlarından elde edilen resmi p-değerleri bu ortalama tahminler için geçerli değildir.
Neden rastgele bir orman yerine bu yöntemi tercih etmeliyim?
Tahmin ediciler ve sonuç arasındaki ilişki doğrusal değilse veya karmaşık etkileşimler içeriyorsa, rastgele bir orman (doğrusal olmayan ağaçlar büyüten) bu örüntüleri çok daha iyi yakalayacaktır. Topluluksal doğrusal regresyon, alan bilgisi veya raporlama gereksinimleri doğrusal bir model gerektirdiğinde en iyisidir.
Tahminlerin ortalamasını almak önyargıyı azaltır mı?
Kaynaklar
- Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123–140. DOI: 10.1007/BF00058655 ↗
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8). Springer. ISBN: 978-0-387-84857-0
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Ensemble of Linear Regression Models (Bagged and Stacked Linear Regression). ScholarGate. https://scholargate.app/tr/machine-learning/ensemble-linear-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bagging (Önyükleme Toplama)Makine öğrenmesi↔ karşılaştır
- Doğrusal Regresyon (ML)Makine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Doğrusal RegresyonMakine öğrenmesi↔ karşılaştır
- Ridge Regression (Sırt Regresyonu)Makine öğrenmesi↔ karşılaştır
- Oy Birliği TopluluğuMakine öğrenmesi↔ karşılaştır