Düzenlileştirilmiş Doğrusal Regresyon
Regularized Linear Regression (Ridge, Lasso, Elastic Net) · Ayrıca şöyle bilinir: Ridge regression, Lasso regression, Elastic Net regression, penalized regression
Düzenlileştirilmiş doğrusal regresyon, sıradan en küçük kareler hedefine bir ceza terimi ekleyerek, aşırı uyumu azaltmak ve çoklu doğrusallıkla başa çıkmak için katsayıları küçültür veya sıfırlar. Üç ana varyantı — Ridge (L2 cezası), Lasso (L1 cezası) ve Elastic Net (birleşik L1+L2) — özelliklerin gözlemlerden fazla olduğu veya tahmin edicilerin yüksek oranda ilişkili olduğu durumlarda bile doğrusal regresyonu kullanılabilir kılar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+2 tane daha
Ne zaman kullanılır
Birçok sayısal özellikten sürekli bir çıktıyı tahmin ederken ve en azından bir miktar çoklu doğrusallıktan şüphelenildiğinde veya özellik sayısı örneklem büyüklüğüne göre fazla olduğunda düzenlileştirilmiş doğrusal regresyon kullanın. Tüm özelliklerin makul bir şekilde ilgili olduğu durumlarda Ridge varsayılan seçimdir; otomatik özellik seçimi gerektiğinde Lasso veya Elastic Net kullanılır. Yalnızca özellikler az, ilişkisiz ve örneklem büyük olduğunda sıradan (cezalandırılmamış) doğrusal regresyonu tercih edin. Çıktı açıkça doğrusal olmadığında veya ikili ya da kategorik olduğunda herhangi bir doğrusal varyantı kullanmayın — bunun yerine lojistik regresyon veya ağaç tabanlı yöntemler kullanın.
Güçlü yönler & sınırlılıklar
- Açık etki büyüklükleri ve yönleri ile tamamen yorumlanabilir doğrusal katsayılar üretir.
- Çoklu doğrusallığı zarif bir şekilde ele alır — Ridge, katsayıları ilişkili tahmin ediciler arasında yeniden dağıtır; Lasso, bir gruptan birini seçer.
- Lasso ve Elastic Net, ilgisiz katsayıları tam olarak sıfıra ayarlayarak yerleşik özellik seçimi yapar.
- Büyük veri setlerinde bile hesaplama açısından verimli; koordinat inişi ile milyonlarca gözleme ölçeklenebilir.
- Çapraz doğrulanmış lambda seçimi, tüm büyük istatistiksel yazılımlarda (scikit-learn, glmnet, statsmodels) iyi desteklenir.
- Özellikler ve sürekli hedef arasında doğrusal bir ilişki varsayar; özellikler manuel olarak tasarlanmadıkça doğrusal olmayan desenleri kaçırır.
- Uyumdan önce özellik standardizasyonu zorunludur; bu adımı unutmak katsayı tahminlerini bozar.
- Lasso, gerçekten ilgili birçok ilişkili tahmin edici olduğunda kötü performans gösterir — keyfi olarak birini seçer ve diğerlerini atar; bu durumda Elastic Net daha güvenli bir seçimdir.
- Ridge tüm özellikleri korur ve seyrek bir model üretmez, bu da özellik uzayı çok yüksek boyutlu olduğunda yorumlamayı zorlaştırabilir.
SSS
Ridge'i Lasso'ya ne zaman tercih etmeliyim?
Çoğu tahmin edicinin sonuca katkıda bulunduğuna inanıyorsanız ve hiçbirini sıfırlamadan kararlı katsayı tahminleri istiyorsanız Ridge'i seçin — örneğin, tahmin ediciler yüksek oranda ilişkiliyse ve hepsini tutmak istiyorsanız. Birçok özelliğin ilgisiz olmasını bekliyorsanız ve otomatik özellik seçimi istiyorsanız Lasso veya Elastic Net'i seçin.
Hala p-değerleri ve güven aralıkları alıyor muyum?
Klasik p-değerleri ve standart hatalar, cezalandırılmış regresyondan doğrudan elde edilemez çünkü katsayı tahminleri tasarım gereği yanlıdır. Seçim sonrası çıkarım yöntemleri (örn. desparsified Lasso) mevcuttur ancak pratikte nadiren kullanılır; bunun yerine, bootstrap güven aralıkları veya çapraz doğrulanmış kararlılık ölçüleri rapor edilir.
Düzenlileştirme gücü lambdayı nasıl seçerim?
Lambdayı, logaritmik bir ızgara üzerinde k-kat çapraz doğrulama (tipik olarak k = 5 veya 10) ile seçin. scikit-learn'in RidgeCV ve LassoCV'si veya R'nin glmnet'i gibi kütüphaneler bunu otomatik olarak yapar. Seçilen lambdayı raporlayın ve minimum çapraz doğrulama hatasıyla mı yoksa tek standart hata kuralıyla mı seçildiğini belirtin.
Düzenlileştirilmiş doğrusal regresyon normal dağılmış özellikler gerektirir mi?
Hayır. Sıradan en küçük kareler gibi, varsayım tahmin ediciler üzerinde değil, kalıntılar üzerindedir (yaklaşık olarak normal, homoskedastik). Yüksek derecede çarpık veya aykırı değer içeren tahmin ediciler yine de tahminleri bozabilir, bu nedenle çarpık girdileri log-dönüştürmek yaygın bir ön işleme adımıdır.
Elastic Net nedir ve ne zaman tercih edilir?
Elastic Net, bir karıştırma parametresi alfa ile kontrol edilen L1 ve L2 cezalarını birleştirir (alfa = 1 saf Lasso'dur; alfa = 0 saf Ridge'dir). İlişkili tahmin edici gruplarının hepsi ilgili olduğunda tercih edilir — Lasso gruptan keyfi olarak birini seçip diğerlerini atarken, Elastic Net grubu bir arada tutma eğilimindedir.
Kaynaklar
- Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288. DOI: 10.1111/j.2517-6161.1996.tb02080.x ↗
- Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer. ISBN: 978-0-387-84858-7
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Linear Regression (Ridge, Lasso, Elastic Net). ScholarGate. https://scholargate.app/tr/machine-learning/regularized-linear-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Elastic NetMakine öğrenmesi↔ karşılaştır
- Doğrusal Regresyon (ML)Makine öğrenmesi↔ karşılaştır
- Lojistik Regresyon (YZ)Makine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Lojistik RegresyonMakine öğrenmesi↔ karşılaştır