Lineer Diskriminant Analizi (LDA)
Linear Discriminant Analysis (Fisher's LDA) · Ayrıca şöyle bilinir: LDA, Fisher's discriminant analysis, Fisher linear discriminant, normal discriminant analysis, canonical discriminant analysis
Lineer Diskriminant Analizi, Ronald A. Fisher tarafından 1936'da tanıtılan, önceden tanımlanmış sınıfları en iyi şekilde ayıran ve mümkün olduğunca sınıf ayırt edici bilgiyi koruyan özelliklerin doğrusal kombinasyonlarını bulan, boyut azaltma ve sınıflandırma için denetimli bir yöntemdir. Eş zamanlı olarak bir özellik projeksiyon tekniği ve olasılıksal bir sınıflandırıcı olarak hizmet eder, bu da onu örüntü tanıma ve istatistiksel öğrenmedeki temel yöntemlerden biri haline getirir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
LDA, hedefin çok sınıflı sınıflandırma veya denetimli boyut azaltma olduğu ve verilerin iki temel varsayımını makul bir şekilde karşıladığı durumlarda uygundur: (1) her sınıf çok değişkenli bir Gauss dağılımını izler ve (2) tüm sınıflar aynı kovaryans matrisini paylaşır. Gözlem sayısı, özellik sayısına göre orta ila büyük olduğunda iyi performans gösterir ve yorumlanabilir düşük boyutlu projeksiyonlar gerektiğinde diğer sınıflandırıcılar için bir ön işleme adımı olarak özellikle kullanışlıdır. Sınıf sınırları doğrusal olmadığında, özellikler açıkça Gauss dağılımına uymadığında (örneğin, dönüşüm yapılmamış sayımlar veya ikili göstergeler), sınıfların çok farklı kovaryans yapılarına sahip olduğunda (bunun yerine QDA kullanın) veya p, n'ye yakın veya n'yi aştığında (önce düzenlileştirilmiş LDA veya PCA kullanın) uygun değildir.
Güçlü yönler & sınırlılıklar
- Kapalı form çözümü: iteratif optimizasyon veya hiperparametre ayarlaması gerekmez.
- Tek, tutarlı bir çerçevede eşzamanlı boyut azaltma ve sınıflandırma.
- Hesaplama açısından verimli ve orta boyutlu problemlere iyi ölçeklenir.
- Diskriminant eksenleri, orijinal özelliklerin yorumlanabilir doğrusal kombinasyonlarıdır.
- Doğal olarak çok sınıflı problemleri ele alır, en fazla K-1 boyuta yansıtır.
- Gauss varsayımı altında sınıf önsel olasılıklarını sağlar, bu da kalibre edilmiş belirsizlik tahminlerine olanak tanır.
- Birçok gerçek veri kümesinin ihlal ettiği çok değişkenli Gauss sınıf-koşullu dağılımları varsayar.
- Eşit kovaryans varsayımı genellikle gerçekçi değildir; ciddi ihlaller hata oranlarını şişirir.
- Örnek ortalamaları ve kovaryansları sağlam tahminleyiciler olmadığından aykırı değerlere duyarlıdır.
- p, n'ye yakın veya n'den büyük olduğunda bozulur çünkü S_W tekil veya kötü koşullu hale gelir.
- Doğrusal karar sınırları eğri veya karmaşık sınıf ayrılıklarını yakalayamaz.
- Önsel sınıf olasılıkları belirtilmeli veya belki de temsili olmayan eğitim verilerinden tahmin edilmelidir.
SSS
LDA ve PCA arasındaki fark nedir?
PCA denetimsizdir ve sınıf etiketlerinden bağımsız olarak maksimum toplam varyans yönlerini bulur. LDA denetimlidir ve sınıflar arası yayılıma göre sınıf ayrımını maksimize eden yönleri bulur. PCA verilere ilişkin en fazla bilgiyi korur; LDA sınıf yapısına ilişkin en fazla bilgiyi korur. Sınıflandırma görevleri için, LDA projeksiyonları tipik olarak PCA projeksiyonlarından daha ayırt edicidir.
Ne zaman LDA yerine QDA kullanmalıyım?
Karesel Diskriminant Analizi (QDA), eşit kovaryans varsayımını gevşetir ve her sınıf için ayrı bir kovaryans matrisi uydurarak eğri (karesel) karar sınırları üretir. Sınıfların yayılımları veya şekilleri açıkça farklı olduğunda ve her kovaryans matrisini güvenilir bir şekilde tahmin etmek için her sınıfta yeterli gözlem olduğunda QDA kullanın. Eşit kovaryans varsayımı makul olduğunda veya örneklem boyutları küçük olduğunda ve QDA'nın ek parametreleri aşırı uyuma yol açacağında LDA tercih edilir.
Kaç diskriminant boyutunu saklamalıyım?
K sınıf için en fazla K-1 diskriminant ekseni sınıf ayırt edici bilgi taşır, bu nedenle ikili sınıflandırma için tam olarak bir diskriminant ekseni vardır. Pratikte, özdeğerleri azalan sırada çizin ve birlikte yüksek bir oranda (örneğin, %95) sınıflar arası varyansı açıklayan en az sayıda ekseni saklayın. İlk bir veya iki eksen genellikle görselleştirme ve sınıflandırma için yeterlidir.
p, n'ye göre büyükse ne yapmalıyım?
Özellik sayısı p, gözlem sayısı n'ye yakın veya n'yi aştığında, sınıfiçi saçılım matrisi S_W tekil hale gelir ve tersi alınamaz. Standart çözümler şunlardır: (1) önce boyutu azaltmak için PCA uygulayın, ardından ana bileşenler üzerinde LDA çalıştırın; (2) düzenlileştirilmiş LDA (örneğin, Friedman'ın 1989 düzenlileştirilmiş diskriminant analizi) kullanın, bu da S_W'yi ölçeklenmiş birim matrisine doğru küçültür; veya (3) seyrek LDA gibi cezalandırılmış bir varyant kullanın.
Kaynaklar
- Fisher, R. A. (1936). The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7(2), 179–188. DOI: 10.1111/j.1469-1809.1936.tb02137.x ↗
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 4). Springer. ISBN: 978-0-387-84857-0
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Linear Discriminant Analysis (Fisher's LDA). ScholarGate. https://scholargate.app/tr/machine-learning/linear-discriminant-analysis
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Lojistik RegresyonAraştırma istatistiği↔ karşılaştır
- Naive BayesMakine öğrenmesi↔ karşılaştır
- Karesel Ayırt Edici Analiz (QDA)Makine öğrenmesi↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır