Düzenlileştirilmiş Lojistik Regresyon
Regularized Logistic Regression (L1 / L2 / Elastic Net Penalized Binary and Multinomial Classification) · Ayrıca şöyle bilinir: penalized logistic regression, L1 logistic regression, L2 logistic regression, elastic net logistic regression
Düzenlileştirilmiş lojistik regresyon, standart lojistik regresyonu, log-olasılığa bir L1 (lasso), L2 (ridge) veya elastik net cezası ekleyerek genişletir, katsayıları sıfıra doğru küçültür ve aşırı uyumu önler. Yüksek boyutlu veya koliner özellik uzaylarında yorumlanabilir, seyrek veya kararlı katsayı tahminleri istediğinizde ikili veya çok terimli sınıflandırma için varsayılan tercihtir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+4 tane daha
Ne zaman kullanılır
Yorumlanabilir olasılıksal çıktılara, özellik sayısı örneklem boyutuna göre büyük olduğunda veya öngörücüler ilişkili olduğunda ikili veya çok terimli sınıflandırma için düzenlileştirilmiş lojistik regresyon kullanın. Klinik tahmin, kelime torbası özellikleriyle metin sınıflandırması ve yüksek boyutlu biyobelirteç çalışmalarında tercih edilen başlangıç modelidir. Otomatik özellik seçimi gerektiğinde L1'i, kararlı katsayı tahmini için L2'yi ve ilişkili gruplar halinde özellikler geldiğinde elastik neti seçin. Sonuç-özellik ilişkisinin yüksek derecede doğrusal olmadığı veya doğrusal log-olasılık formülasyonunun yakalayamayacağı güçlü etkileşim etkilerinin olduğu durumlarda bundan kaçının; ağaç toplulukları veya çekirdek yöntemleri o zaman daha uygun olabilir.
Güçlü yönler & sınırlılıklar
- Çoğu kara kutu sınıflandırıcıların aksine, kalibre edilmiş sınıf olasılıkları ve yorumlanabilir, işaretli katsayılar üretir.
- L1 cezası, ilgisiz özellikleri sıfırlayarak otomatik özellik seçimi yapar, raporlanması kolay seyrek modeller sunar.
- Katsayı küçültme yoluyla yüksek boyutlu özellik uzaylarını (p >> n) sağlam bir şekilde ele alır.
- Elastik net cezası, ilişkili öngörücülere ağırlık yayarak ilişkili özellik gruplarını zarifçe ele alır.
- Koordinat inişi çözücüleri kullanılarak büyük veri kümelerinde bile uyum sağlamak çok hızlıdır; milyonlarca gözleme ölçeklenir.
- Özellikler ve log-olasılıklar arasında doğrusal bir ilişki olduğunu varsayar; manuel özellik mühendisliği olmadan doğrusal olmayan veya etkileşim etkilerini yakalayamaz.
- Sonucun kategorik olmasını gerektirir; sürekli sonuçlar doğrusal (lojistik değil) regresyon gerektirir.
- Modelin log-olasılıklarda toplamsal olması nedeniyle, ilgili özelliklerin güçlü bir şekilde etkileşime girdiği durumlarda performans düşer.
- Optimal lambda, çapraz doğrulama ile seçilmelidir, bu da hesaplama ve bir ayarlama adımı ekler.
- Aşırı sınıf dengesiz veriler, yeniden ağırlıklandırma olmadan tahmin edilen olasılıkları çoğunluk sınıfına doğru yanlı hale getirebilir.
SSS
L1, L2 ve elastik net arasında nasıl seçim yapmalıyım?
Özelliklerin yalnızca bir alt kümesinin ilgili olduğuna inanıyorsanız ve otomatik seçim istiyorsanız L1'i kullanın. Tüm özelliklerin katkıda bulunması muhtemelse veya öngörücüler yüksek derecede ilişkiliyse, ridge'in ilişkili gruplar arasında ağırlık dağıttığı için L2'yi kullanın. Seyreklik istiyorsanız ancak ilişkili özellik bloklarınız da varsa elastik neti kullanın; iç içe çapraz doğrulama ile alpha'yı lambda ile birlikte ayarlayın.
Uyum sağlamadan önce özellikleri standartlaştırmam gerekir mi?
Evet, her zaman. Ceza terimi tüm katsayıları eşit şekilde ele alır, bu nedenle büyük sayısal değerlere sahip bir özellik, standartlaştırılmadıkça orantılı olarak daha az küçülme alacaktır. Uyum sağlamadan önce her özelliği sıfır ortalama ve birim varyansa merkezleyin ve ölçeklendirin ve aynı dönüşümü test verilerine uygulayın.
Lambda nasıl seçilir?
Lambda, tipik olarak logaritmik bir grid üzerinde k-katlı (k=5 veya 10) çapraz doğrulama ile seçilen bir hiperparametredir. R'nin glmnet'inde cv.glmnet bunu otomatikleştirir. Scikit-learn'de, LogisticRegressionCV veya çapraz doğrulama ile GridSearchCV, düzenlileştirme gücünün tersi C (C=1/lambda) üzerinde kullanılmalıdır.
Düzenlileştirilmiş lojistik regresyon kalibre edilmiş olasılıklar verir mi?
Genellikle evet, ağaç topluluklarından daha iyi, çünkü lojistik regresyon sınıf olasılıklarını doğrudan sigmoid aracılığıyla modeller. Ancak, aşırı düzenlileştirme tahmin edilen olasılıkları 0.5'e doğru sıkıştırabilir. Gerekirse Platt ölçekleme veya izotonik regresyon ile yeniden kalibre edilebilir.
Sınıf dengesizliğini nasıl ele alırım?
Azınlık sınıfı gözlemlerine daha yüksek kayıp ağırlığı verilecek şekilde class_weight='balanced' (scikit-learn) ayarlayın veya eğitim setini manuel olarak yeniden örnekleyin. Ayrıca, karar eşiğini 0.5'te sabitlemek yerine hassasiyet-geri çağırma eğrisini kullanarak ayarlayın.
Kaynaklar
- Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288. DOI: 10.1111/j.2517-6161.1996.tb02080.x ↗
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer. ISBN: 978-0-387-84857-0
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Logistic Regression (L1 / L2 / Elastic Net Penalized Binary and Multinomial Classification). ScholarGate. https://scholargate.app/tr/machine-learning/regularized-logistic-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Elastic NetMakine öğrenmesi↔ karşılaştır
- Lineer Diskriminant Analizi (LDA)Makine öğrenmesi↔ karşılaştır
- Lojistik Regresyon (YZ)Makine öğrenmesi↔ karşılaştır
- Naive BayesMakine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Doğrusal RegresyonMakine öğrenmesi↔ karşılaştır