Sınıflandırma ve Diskriminant Analizi
Sınıflandırma ve diskriminant analizi, gözlemleri önceden tanımlanmış gruplara, ölçülen özellikler ve etiketlenmiş vakalardan oluşan bir örneklem kullanarak atayan çok değişkenli yöntemleri içermektedir.
Tanım
Diskriminant analizi ve sınıflandırma, çok değişkenli bir gözlemi, beklenen yanlış sınıflandırma maliyetini veya hatasını en aza indirecek şekilde, bilinen birkaç gruptan birine atayan kuralların oluşturulmasıdır.
Kapsam
Bu alan, çok değişkenli gözlemlerin denetimli sınıflandırmasını kapsamaktadır. Fisher'ın doğrusal diskriminantını ve Gauss modeli yorumunu, eşit olmayan grup kovaryansları için kuadratik diskriminant analizini, sınıf üyeliği olasılıklarının doğrudan bir modeli olarak lojistik diskriminasyonu ve destek vektör makineleri gibi marj tabanlı yöntemleri içermektedir. Odak noktası, karar sınırlarının inşası, geometrisi ve değerlendirilmesidir.
Alt konular
Temel sorular
- Bir gözlem, ölçülen özelliklerinden yola çıkarak bilinen birkaç gruptan birine nasıl atanmalıdır?
- Hangi karar sınırı, beklenen yanlış sınıflandırma maliyetini en aza indirmektedir?
- Doğrusal sınırlar ne zaman yeterlidir ve kuadratik veya doğrusal olmayan sınırlara ne zaman ihtiyaç duyulmaktadır?
- Sınıflandırıcının performansı, iyimser yanlılık olmaksızın nasıl tahmin edilmektedir?
Temel kuramlar
- Bayes-optimal sınıflandırma
- Her bir gözlemi en yüksek sonsal olasılığa sahip gruba atamak, beklenen yanlış sınıflandırma hatasını en aza indirmektedir; parametrik diskriminant yöntemleri, dağılımsal varsayımlar altında bu sonsal olasılıkları tahmin etmektedir.
- Fisher'ın doğrusal diskriminantı
- Fisher, grup ortalamalarını grup içi yayılıma göre maksimum düzeyde ayıran özelliklerin doğrusal kombinasyonunu aramıştır; bu, eşit Gauss kovaryansları altında Bayes kuralıyla çakışan bir diskriminant yönü sağlamaktadır.
Klinik önem
Sınıflandırma yöntemleri, tıbbi tanı, kredi puanlaması, tür tanımlaması ve uzaktan algılama arazi örtüsü haritalaması dahil olmak üzere, vakaların çok değişkenli ölçümlerden bilinen kategorilere ayrılması gereken her yerde kullanılmaktadır.
Tarihçe
Bu alan, Fisher'ın 1936'da taksonomik ölçümlere uyguladığı doğrusal diskriminant ile başlamıştır. Bunu olasılıksal ve Gauss formülasyonları takip etmiş, lojistik diskriminasyon sınıf olasılıklarının doğrudan bir modelini sağlamış ve yirminci yüzyılın sonlarındaki marj tabanlı ve çekirdek (kernel) yöntemlerin geliştirilmesi, sınıflandırmayı yüksek boyutlu ve doğrusal olmayan ayarlara genişletmiştir.
Tartışmalar
- Üretken (Generative) ve Ayırt Edici (Discriminative) Sınıflandırma
- Diskriminant analizi gibi üretken yöntemler, her sınıf içindeki özellik dağılımını modellerken, lojistik regresyon ve destek vektör makineleri gibi ayırt edici yöntemler sınırı veya sınıf olasılığını doğrudan modellemektedir; bunların göreceli faydaları örneklem büyüklüğüne ve dağılımsal varsayımların ne kadar iyi tuttuğuna bağlıdır.
Öne çıkan isimler
- Ronald A. Fisher
- Vladimir Vapnik
İlgili konular
Temel eserler
- fisher1936
- hastie2009
- johnson2007
Sıkça sorulan sorular
- Sınıflandırma, kümelemeden nasıl farklılaşmaktadır?
- Sınıflandırma denetimlidir: gruplar önceden bilinmektedir ve etiketlenmiş bir eğitim örneklemi mevcuttur. Kümeleme denetimsizdir ve önceden tanımlanmış etiketler olmaksızın gruplamaları keşfetmektedir.
- Hata neden ayrılmış (held-out) veri üzerinde tahmin edilmektedir?
- Bir sınıflandırıcıyı uydurmak için kullanılan aynı veri üzerinde ölçülen hata iyimser bir yanlılık içermektedir, bu nedenle gerçek tahminsel performansı değerlendirmek için çapraz doğrulama veya bir test setinden örneklem dışı tahminlere ihtiyaç duyulmaktadır.