Sağlam Doğrusal Regresyon
Robust Linear Regression (Outlier-Resistant Estimation) · Ayrıca şöyle bilinir: robust regression, M-estimator regression, Huber regression, outlier-resistant regression
Sağlam doğrusal regresyon, etkili aykırı değerleri azaltarak veya dışlayarak, OLS'nin meşhur şekilde duyarlı olduğu az sayıdaki anormal gözlemin tüm tahmin edilen çizgiyi bozmasını önlerken, öngörücüler ve sürekli bir sonuç arasındaki doğrusal bir modeli uydurur. Başlıca varyantlar Huber regresyonu, tekrarlanan yeniden ağırlıklandırılmış en küçük kareler (IRLS), RANSAC ve Theil-Sen tahminini içerir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+1 tane daha
Ne zaman kullanılır
OLS varsayımları, aykırı değerlerin veya konu alanı gerekçeleriyle güvenle kaldırılamayan ağır kuyruklu hataların varlığı dışında karşılandığında ve öngörücüler ile sonuç arasındaki ilişkinin verinin çoğunluğunda makul ölçüde doğrusal olduğu durumlarda sağlam doğrusal regresyon kullanın. Özellikle gözlemsel veri kümelerinde — tıbbi kayıtlar, anket verileri, finansal seriler — aşırı değerlerin ölçüm hatasından ziyade gerçek dünya değişkenliğini yansıttığı durumlarda değerlidir. Aykırı değerleri teşhis etme ve anlama yerine bir ikame olarak kullanmayın: aykırı değerler gerçek olguları kodluyorsa, bastırılmak yerine modellenmelidir. Ayrıca, aykırı değerlerin tanımlanması kendisi güvenilmez hale geldiğinden, örneklem boyutları çok küçük olduğunda (yaklaşık 30'un altında) bundan kaçının.
Güçlü yönler & sınırlılıklar
- Katsayılar, gözlemlerin önemli bir kesri aykırı değer olsa bile kararlı ve yorumlanabilir kalır.
- Huber ve bisquare kayıpları, verimlilik ve direnç arasındaki ödünleşme üzerinde açık kontrol sağlar.
- Ağırlık azaltma şeması, doğal olarak etkili gözlemleri uydurmanın bir yan ürünü olarak tanımlar.
- IRLS, OLS ile hesaplama benzerliğini koruyarak orta ölçekli veri kümeleri için çalışma sürelerini yönetilebilir tutar.
- Katsayı yorumlaması OLS ile aynıdır — beta, öngörücü başına sonuçtaki beklenen değişimi temsil eder.
- Hatalar gerçekten Gauss olsa bile sağlam tahminciler OLS'den daha az verimlidir — temiz verilerde küçük bir hassasiyet maliyeti ödersiniz.
- Huber kaybının delta (eşik) hiperparametresi ayar gerektirir; kötü bir seçim meşru varyansı ya az ya da aşırı bastırabilir.
- Sağlam çıkarım (sandviç standart hataları veya bootstrap), çoğu gözden geçiren tarafından bilinen standart OLS t-testlerine kıyasla karmaşıklık ekler.
- Yüksek boyutlu ayarlara (çok sayıda öngörücü) uzantılar, ridge veya lasso gibi düzenlileştirilmiş OLS varyantlarından daha az olgunlaşmıştır.
SSS
Sağlam doğrusal regresyon, OLS'den aykırı değerleri basitçe kaldırmaktan nasıl farklıdır?
Aykırı değer kaldırma, bilgiyi kalıcı olarak atan ikili, öznel bir karardır. Sağlam regresyon, etkili noktaları sürekli ve otomatik olarak azaltır, onları veri kümesinde tutar ve inceleme için işaretler — bu daha şeffaf ve tekrarlanabilirdir.
Hangi varyantı seçmeliyim: Huber, bisquare, RANSAC veya Theil-Sen?
Huber regresyonu en yaygın başlangıç noktasıdır ve aykırı değerler orta düzeyde olduğunda iyi çalışır. Bisquare (Tukey) kaybı, aşırı noktaları tamamen göz ardı eder ve ağır kirlenmeye uygundur. RANSAC, net bir iç yapıya sahip geometrik veya bilgisayar görüşü verileri için uygundur. Theil-Sen parametrik değildir ve orta düzeyde aykırı değerlere sahip küçük örneklemler için iyi çalışır.
Dorusallık ve homoskedastisiteyi kontrol etmem hala gerekiyor mu?
Evet. Sağlam regresyon, hata normalliği varsayımını gevşetir ve aykırı değerlerden kaynaklanan zararı sınırlar, ancak yine de öngörücüler ve sonuç arasındaki doğrusal bir ilişkiyi varsayar. Ciddi heteroskedastisite, örneğin ağırlıklı en küçük kareler veya genelleştirilmiş doğrusal modellerle ayrı olarak ele alınmalıdır.
Sınıflandırma için sağlam regresyon kullanabilir miyim?
Hayır — sağlam doğrusal regresyon, sürekli bir sonuç için bir regresyon yöntemidir. Aykırı değer kirliliği altında sınıflandırma için, sağlam lojistik regresyonu veya yumuşak marj formülasyonlarına sahip SVM'leri düşünün.
Sağlam regresyon kaç aykırı değere tolerans gösterebilir?
Kırılma noktası — bir yöntemin dayanabileceği kirlilik oranı — tahminciye bağlıdır. Huber ve bisquare M-tahmincileri teorik olarak %50'ye kadar kırılma noktasına sahiptir; LTS %50'ye ulaşabilir. Pratikte, %20-30'un üzerindeki kirlilik, herhangi bir tahminciye güvenmeden önce dikkatli inceleme gerektirir.
Kaynaklar
- Huber, P. J. (1964). Robust Estimation of a Location Parameter. Annals of Mathematical Statistics, 35(1), 73–101. DOI: 10.1214/aoms/1177703732 ↗
- Rousseeuw, P. J. & Leroy, A. M. (1987). Robust Regression and Outlier Detection. Wiley. ISBN: 978-0-471-85233-9
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Robust Linear Regression (Outlier-Resistant Estimation). ScholarGate. https://scholargate.app/tr/machine-learning/robust-linear-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Huber Regresyonuİstatistik↔ karşılaştır
- Lasso RegresyonuMakine öğrenmesi↔ karşılaştır
- Doğrusal Regresyon (ML)Makine öğrenmesi↔ karşılaştır
- Kuantil RegresyonuEkonometri↔ karşılaştır
- Düzenlileştirilmiş Doğrusal RegresyonMakine öğrenmesi↔ karşılaştır