Lojistik Diskriminasyon

Lojistik diskriminasyon, her bir sınıfın sonsal olasılığını özelliklerin lojistik bir fonksiyonu olarak doğrudan modelleyerek gözlemleri sınıflandırmaktadır.

Tanım

Lojistik diskriminasyon, özellikler verildiğinde sınıf üyeliğinin koşullu olasılığını lojistik (veya softmax) bir bağlantı aracılığıyla modelleyen ve özellikler için bir dağılım varsaymadan modeli maksimum olabilirlik ile uyduran bir sınıflandırma yaklaşımıdır.

Kapsam

Bu konu, ayırt edici sınıflandırıcılar olarak ikili ve çok terimli lojistik modelleri, katsayılarının maksimum olabilirlik tahminini, ortaya çıkan log-oranların ve karar sınırının doğrusallığını, üretken diskriminant analizi ile karşıtlığını ve katsayıların log-oran etkileri olarak yorumlanmasını kapsamaktadır.

Temel sorular

• Sınıf üyeliği olasılıkları özelliklerden doğrudan nasıl modellenebilir?
• Lojistik modelin ima ettiği karar sınırının şekli nedir?
• Lojistik diskriminasyon, Gauss diskriminant analizinden nasıl farklılaşır?
• Tahmin edilen katsayılar nasıl yorumlanır?

Temel kuramlar

Sonsal olasılıkların doğrudan modellenmesi

Lojistik diskriminasyon, sınıf üyeliğinin log-oranlarını özelliklerin doğrusal bir fonksiyonu olarak belirtir ve bunu maksimum olabilirlik ile tahmin ederken, özelliklerin marjinal dağılımı hakkında hiçbir varsayımda bulunmaz.

Üretken-ayırt edici uyumu

Eş varyanslı Gauss sınıfları altında sonsal log-oranlar tam olarak doğrusaldır; bu nedenle lojistik regresyon ve doğrusal diskriminant analizi aynı sınır formunu öne sürer, ancak bunu farklı varsayımlar ve olabilirlikler altında tahmin eder.

Klinik önem

Lojistik diskriminasyon, kalibre edilmiş sınıf olasılıkları ve yorumlanabilir katsayılar sağlaması, ayrıca özellik normalliğinden sapmalara karşı sağlam (robust) olması nedeniyle uygulamalı araştırmalarda en yaygın kullanılan sınıflandırıcılardan biridir.

Tarihçe

İkili sonuçlar için lojistik model, yirminci yüzyıl ortası istatistiklerinde geliştirilmiş ve lojistik diskriminasyon olarak sınıflandırma ortamına uyarlanarak üretken diskriminant analizi geleneğine ayırt edici bir karşılık sağlamıştır.

Tartışmalar

Ayırt ediciye karşı üretken tahmin

Lojistik diskriminasyon koşullu olabilirlik optimizasyonu yapar ve özellik dağılımı yanlış belirtimine karşı daha sağlam olma eğilimindedir; oysa üretken diskriminant analizi, Gauss varsayımları geçerli olduğunda daha verimli olabilir.

Öne çıkan isimler

• David Cox
• Geoffrey McLachlan

İlgili konular

• linear discriminant analysis
• support vector classification
• multivariate multiple regression

Temel eserler

• hastie2009
• mclachlan1992
• johnson2007

Sıkça sorulan sorular

Lojistik diskriminasyon, özelliklerin normal dağıldığını varsayar mı?

Hayır. Özellikler verildiğinde sınıfın koşullu olasılığını modeller ve özelliklerin kendileri hakkında hiçbir dağılımsal varsayımda bulunmaz; bu da sağlamlığının (robustness) nedenlerinden biridir.

Lojistik diskriminasyon ikiden fazla sınıfa nasıl genişletilir?

Çok terimli (softmax) lojistik model aracılığıyla; bu model, her bir sınıfın bir referans sınıfa göre olasılığını doğrusal özellik kombinasyonlarının normalize edilmiş bir üsteli olarak belirtir.

Bu kavram için yöntemler

• Logistic regression (ML)
• Multinomial Logistic Regression
• Logistic Regression
• Discriminant Analysis
• Bayesian Multinomial Logistic Regression
• Bayesian Logistic Regression
• Bayesian Discriminant Analysis
• Linear Discriminant Analysis (Classification)

İlgili kavramlar

• Sınıflandırma ve Diskriminant Analizi
• Sınıflandırma Algoritmaları
• Karesel Diskriminant Analizi
• Doğrusal Diskriminant Analizi
• Lojistik Regresyon
• Model Tabanlı Kümeleme