Online Lojistik Regresyon
Online Logistic Regression (Incremental Stochastic Gradient Descent) · Ayrıca şöyle bilinir: incremental logistic regression, streaming logistic regression, SGD logistic classifier, online binary classifier
Online Lojistik Regresyon, her gözlem geldiğinde tam veri kümesini görmeyi beklemek yerine, stokastik gradyan inişi yoluyla bir seferde tek bir örnek (veya mini-grup) üzerinde bir lojistik sınıflandırıcı uydurur ve model ağırlıklarını günceller. Bu, onu, yığın eğitiminin uygulanamaz olduğu yüksek hacimli, akışlı veya bellek kısıtlı ikili sınıflandırma sorunları için standart seçim haline getirir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Veri bir akış olarak geldiğinde veya tam veri kümesi bellekte tutulamayacak kadar büyük olduğunda, sınıf sınırının zamanla yavaş yavaş kayması beklendiğinde (kavram kayması) veya düşük gecikmeli model güncellemeleri gerektiğinde Online Lojistik Regresyon'u kullanın. Ayrıca, tek bir SGD geçişinin kabul edilebilir olduğu çok büyük statik veri kümeleri için hızlı bir taban çizgisi görevi görür. Veri kümesinin yığın eğitimine yetecek kadar küçük olduğu (yığın lojistik regresyon daha az ayarlamayla daha iyi bir çözüme yakınsayacaktır), karar sınırının oldukça doğrusal olmadığı (ağaç tabanlı veya çekirdek yöntemler daha iyi uyacaktır) veya raporlama için kesin katsayı standart hataları ve p-değerlerinin yorumlanabilirliğinin gerekli olduğu durumlarda bundan kaçının.
Güçlü yönler & sınırlılıklar
- Sabit bellek ayak izi: tüm veri kümesini depolamadan tek seferde bir örneği işler.
- Yeni etiketli veriler geldikçe ağırlıkları güncellemeye devam ederek kavram kaymasına uyum sağlar.
- Yığın optimizasyonunun imkansız olduğu milyarlarca örneğe ölçeklenir.
- Risk puanlamasına uygun, sigmoid bağlantısı aracılığıyla kalibre edilmiş olasılık çıktıları üretir.
- L1 ve L2 düzenlileştirme ve tam yığın çözümlerini yansıtan öğrenme oranı programlarıyla uyumludur.
- Öğrenme oranı seçimine duyarlıdır: çok büyük olması ıraksamaya neden olur, çok küçük olması yavaş yakınsamaya veya yetersiz uyuma neden olur.
- Katsayılar için kapalı formda güven aralıkları veya p-değerleri sağlamaz.
- Aynı veri verildiğinde yığın gradyan inişinden daha gürültülü bir çözüme yakınsar; farkı kapatmak için birden fazla geçiş veya ortalama alma (Polyak-Ruppert) gerekir.
- Özellikler çok farklı ölçeklerde olduğunda, standartlaştırma veya AdaGrad uygulanmadıkça performans düşer.
- Doğrusal bir karar sınırı varsayar; özellik mühendisliği olmadan doğrusal olmayan yapıyı yakalayamaz.
SSS
Online lojistik regresyon standart lojistik regresyondan nasıl farklıdır?
Standart lojistik regresyon tüm veriyi bir kerede (yığın optimizasyonu) kullanır ve standart hatalarla birlikte kesin maksimum olabilirlik katsayılarını döndürür. Online lojistik regresyon, her örnekten sonra ağırlıkları günceller, yalnızca sabit bellek kullanır ve sonsuz uzun akışları tolere eder, ancak tahminleri daha gürültülüdür ve çıkarımsal istatistikler üretmez.
Öğrenme oranını nasıl seçerim?
Yaygın bir başlangıç noktası, ters zaman bozunması ile birleştirilmiş küçük sabit bir orandır (örneğin, 0,01) veya özellik başına oranları otomatik olarak ayarlayan AdaGrad kullanmaktır. Her zaman önce özellikleri standartlaştırın, ardından ilk oranı ayrılmış bir doğrulama katında veya akışın yakın zamandaki bir penceresindeki çalışan log-kaybı izleyerek ayarlayın.
Online lojistik regresyon çok sınıflı sorunları halledebilir mi?
Evet — paralel olarak eğitilmiş bir-karşıtı-hepsi ikili sınıflandırıcılarına genişletin veya her birine aynı SGD güncelleme kuralını uygulayarak, kategorik çapraz entropi kaybı ve sınıf başına ağırlık vektörleri ile softmax (çok terimli) genellemesini kullanın.
Ne tür bir düzenlileştirme kullanmalıyım?
L2 (ridge) düzenlileştirme varsayılandır: tüm ağırlıkları yumuşak bir şekilde küçültür ve SGD ile iyi anlaşır. L1 (lasso) seyrek ağırlıklar üretir ve otomatik özellik seçimi istediğinizde çok yüksek boyutlu uzaylarda kullanışlıdır, ancak çevrimiçi olarak tam olarak seyrek kalmak için dikkatli kesme veya FOBOS güncellemeleri gerektirir.
Sürekli güncellenen bir modeli nasıl değerlendiririm?
Önsel (test et-sonra eğit) değerlendirmeyi kullanın: ağırlık güncellemesi için kullanmadan önce her örneği tahmin edin, ardından sabit bir ayrılmış küme olmadan mevcut model kalitesinin tarafsız bir tahminini veren kayan bir pencere üzerinde çalışan log-kaybı veya AUC'yi raporlayın.
Kaynaklar
- Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag. link ↗
- Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194. DOI: 10.1561/2200000018 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Online Logistic Regression (Incremental Stochastic Gradient Descent). ScholarGate. https://scholargate.app/tr/machine-learning/online-logistic-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Lojistik Regresyon (YZ)Makine öğrenmesi↔ karşılaştır
- Çevrimiçi ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Çevrimiçi Doğrusal RegresyonMakine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Lojistik RegresyonMakine öğrenmesi↔ karşılaştır
- Yarı denetimli Lojistik RegresyonMakine öğrenmesi↔ karşılaştır