Analisis Diskriminan Kuadratik

Analisis diskriminan kuadratik mengklasifikasikan observasi di bawah kelompok Gaussian multivariat yang diizinkan memiliki matriks kovarians yang berbeda, menghasilkan batas keputusan melengkung.

Definition

Analisis diskriminan kuadratik adalah metode klasifikasi yang memodelkan setiap kelompok sebagai normal multivariat dengan matriks kovariansnya sendiri dan menetapkan observasi dengan membandingkan skor diskriminan kuadratik yang berasal dari densitas ini.

Scope

Topik ini mencakup model klasifikasi Gaussian dengan matriks kovarians spesifik kelompok, fungsi diskriminan kuadratik yang dihasilkan, pertukaran dalam parameter relatif terhadap analisis diskriminan linier, sensitivitas terhadap sampel kecil, dan pendekatan teregulasi yang menginterpolasi antara aturan linier dan kuadratik.

Core questions

• Bagaimana pelonggaran asumsi kovarians yang sama mengubah batas keputusan?
• Kapan fleksibilitas tambahan dari kovarians terpisah meningkatkan klasifikasi?
• Mengapa analisis diskriminan kuadratik lebih rentan terhadap overfitting pada sampel kecil?
• Bagaimana regularisasi dapat menstabilkan estimasi kovarians?

Key theories

Model Gaussian kovarians tidak sama

Ketika setiap kelompok adalah normal multivariat dengan matriks kovariansnya sendiri, rasio log densitas bersifat kuadratik dalam fitur, sehingga batas optimal Bayes antara kelompok adalah permukaan kuadratik.

Pertukaran bias-varians dengan analisis diskriminan linier

Analisis diskriminan kuadratik mengestimasi kovarians terpisah per kelompok, mengurangi bias ketika kovarians benar-benar berbeda tetapi meningkatkan varians, sehingga dapat dikalahkan oleh aturan linier ketika sampel kecil.

Clinical relevance

Analisis diskriminan kuadratik diterapkan ketika kelompok-kelompok secara masuk akal berbeda dalam dispersi maupun rata-ratanya, menawarkan batas yang lebih fleksibel daripada aturan linier dalam masalah klasifikasi di seluruh bidang sains dan teknik.

History

Diskriminasi kuadratik muncul sebagai perluasan alami dari diskriminan linier Gaussian dan Fisher setelah asumsi matriks kovarians umum dihilangkan, dan kemudian dilengkapi dengan analisis diskriminan teregulasi untuk menangani data berdimensi tinggi dan sampel kecil.

Debates

Batas linier versus kuadratik

Memungkinkan kovarians spesifik kelompok dapat menangkap batas yang benar-benar melengkung tetapi melipatgandakan jumlah parameter yang diestimasi, sehingga pilihan antara analisis diskriminan linier dan kuadratik adalah keputusan bias-varians yang sensitif terhadap ukuran sampel.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Kapan saya harus menggunakan QDA daripada LDA?

Gunakan analisis diskriminan kuadratik ketika kelompok-kelompok tampaknya memiliki struktur kovarians yang sangat berbeda dan sampel cukup besar untuk mengestimasi matriks kovarians terpisah per kelompok secara andal.

Apa itu analisis diskriminan teregulasi?

Ini adalah kompromi yang menyusutkan setiap kovarians kelompok menuju estimasi gabungan, menyetel parameter yang secara mulus menginterpolasi antara analisis diskriminan kuadratik dan linier.