Doğrusal Diskriminant Analizi

Doğrusal diskriminant analizi, önceden tanımlanmış grupları özelliklerin doğrusal bir kombinasyonunu kullanarak ayırmaktadır; gruplar ortak bir kovaryans matrisine sahip Gauss dağılımına sahip olduğunda en uygun performansı sergilemektedir.

Tanım

Doğrusal diskriminant analizi, ortak bir kovaryans matrisi altında, bir gözlemi ortalaması Mahalanobis uzaklığına göre en yakın olan gruba atayan ve gruplar arasında doğrusal sınırlar üreten bir sınıflandırma yöntemidir.

Kapsam

Bu konu, gruplar arası varyansı gruplar içi varyansa göre maksimize etme Fisher kriterini, doğrusal karar sınırları üreten eşit kovaryanslara sahip eşdeğer Gauss modelini, birleştirilmiş kovaryans matrisinin rolünü, diskriminant koordinatları aracılığıyla çoklu grup ayrımını ve Mahalanobis uzaklığı ile olan bağlantıyı kapsamaktadır.

Temel sorular

• Özelliklerin hangi doğrusal kombinasyonu grupları en iyi şekilde ayırmaktadır?
• Doğrusal kural hangi varsayımlar altında optimaldir?
• Birleştirilmiş gruplar içi kovaryans, diskriminant fonksiyonuna nasıl dahil olmaktadır?
• Birden fazla grup aynı anda nasıl ele alınmaktadır?

Temel kuramlar

Ayırımın Maksimizasyonu

Fisher'ın diskriminantı, gruplar arası varyansın gruplar içi varyansa oranını maksimize eden projeksiyon yönünü seçerek, özelliklerin en ayırıcı doğrusal kombinasyonunu sağlamaktadır.

Eşit Kovaryanslı Gauss Modeli

Gruplar ortak bir kovaryans matrisine sahip çok değişkenli normal dağılıma sahip olduğunda, sınıf yoğunluklarının log-oranı özelliklerde doğrusaldır; bu nedenle Bayes sınıflandırıcısı, grup ortalamalarına olan Mahalanobis uzaklığına dayalı doğrusal diskriminanta indirgenmektedir.

Klinik önem

Doğrusal diskriminant analizi, bilinen grupları en iyi ayıran yönlere verileri yansıtan basit ve yorumlanabilir bir temel sınıflandırıcı ve boyut azaltma aracı olmaya devam etmektedir; tanı, yüz tanıma ve kemometri gibi alanlarda kullanılmaktadır.

Tarihçe

Fisher, doğrusal diskriminantı 1936 yılında iris çiçekleri üzerindeki ölçümleri kullanarak tanıtmış ve bunu bir ayırma problemi olarak ele almıştır. Eşit kovaryanslı Gauss popülasyonları için Bayes kuralına eşdeğerliği daha sonra belirlenmiş, böylece geometrik ve olasılıksal bakış açıları birbirine bağlanmıştır.

Tartışmalar

Eşit Kovaryans Varsayımının Sağlamlığı

Doğrusal diskriminant analizi, gruplar arasında ortak bir kovaryans varsaymaktadır; bu varsayımın başarısız olduğu durumlarda, karesel diskriminant analizi veya düzenlileştirilmiş varyantlar daha iyi performans gösterebilmektedir, ancak doğrusal kural küçük örneklemlerde genellikle daha kararlıdır.

Öne çıkan isimler

• Ronald A. Fisher
• P. C. Mahalanobis

İlgili konular

• quadratic discriminant analysis
• logistic discrimination
• canonical correlation analysis

Temel eserler

• fisher1936
• anderson2003
• hastie2009

Sıkça sorulan sorular

Doğrusal diskriminant analizi, lojistik regresyona ne zaman tercih edilmektedir?

Gauss eşit kovaryans varsayımı makul ölçüde iyi tuttuğunda, özellikle küçük örneklemlerde veya iyi ayrılmış sınıflarda, DDA daha verimli olabilmektedir; lojistik regresyon ise bu varsayımların şüpheli olduğu durumlarda daha sağlamdır.

DDA boyutluluğu azaltabilir mi?

Evet. Birden fazla grupla, grup ayrımını maksimize eden daha düşük boyutlu bir alt uzayı kapsayan diskriminant koordinatları üretmektedir; bu da görselleştirme için kullanılabilmektedir.

Bu kavram için yöntemler

• Linear Discriminant Analysis
• Linear Discriminant Analysis (Classification)
• Discriminant Analysis
• Quadratic Discriminant Analysis
• Bayesian Discriminant Analysis
• Robust Discriminant Analysis
• K-Nearest Neighbors
• Linear Regression (ML)

İlgili kavramlar

• Sınıflandırma ve Diskriminant Analizi
• Karesel Diskriminant Analizi
• Lojistik Diskriminasyon
• Sınıflandırma Algoritmaları
• Kanonik Korelasyon Analizi
• Çok Değişkenli Varyans Analizi