Análisis Discriminante Cuadrático
El análisis discriminante cuadrático clasifica las observaciones en grupos gaussianos multivariados a los que se les permite tener diferentes matrices de covarianza, produciendo límites de decisión curvos.
Definition
El análisis discriminante cuadrático es un método de clasificación que modela cada grupo como normal multivariado con su propia matriz de covarianza y asigna observaciones comparando las puntuaciones discriminantes cuadráticas derivadas de estas densidades.
Scope
Este tema cubre el modelo de clasificación gaussiano con matrices de covarianza específicas de grupo, las funciones discriminantes cuadráticas resultantes, la compensación en los parámetros en relación con el análisis discriminante lineal, la sensibilidad a muestras pequeñas y los enfoques regularizados que interpolan entre las reglas lineales y cuadráticas.
Core questions
- ¿Cómo cambia el límite de decisión al relajar la suposición de covarianza igual?
- ¿Cuándo mejora la clasificación la flexibilidad añadida de covarianzas separadas?
- ¿Por qué el análisis discriminante cuadrático es más propenso al sobreajuste en muestras pequeñas?
- ¿Cómo puede la regularización estabilizar las estimaciones de covarianza?
Key theories
- Modelo gaussiano de covarianza desigual
- Cuando cada grupo es normal multivariado con su propia matriz de covarianza, la razón logarítmica de las densidades es cuadrática en las características, por lo que el límite óptimo de Bayes entre grupos es una superficie cuadrática.
- Compensación sesgo-varianza con análisis discriminante lineal
- El análisis discriminante cuadrático estima una covarianza separada por grupo, reduciendo el sesgo cuando las covarianzas realmente difieren, pero aumentando la varianza, por lo que puede ser superado por la regla lineal cuando las muestras son pequeñas.
Clinical relevance
El análisis discriminante cuadrático se aplica cuando los grupos difieren plausiblemente en su dispersión, así como en sus medias, ofreciendo límites más flexibles que la regla lineal en problemas de clasificación en ciencia e ingeniería.
History
La discriminación cuadrática surgió como la extensión natural del discriminante lineal gaussiano y de Fisher una vez que se abandona la suposición de una matriz de covarianza común, y más tarde se complementó con el análisis discriminante regularizado para manejar datos de alta dimensión y de muestras pequeñas.
Debates
- Límites lineales versus cuadráticos
- Permitir covarianzas específicas de grupo puede capturar límites genuinamente curvos, pero multiplica el número de parámetros estimados, por lo que la elección entre el análisis discriminante lineal y cuadrático es una decisión de sesgo-varianza sensible al tamaño de la muestra.
Key figures
- T. W. Anderson
Related topics
Seminal works
- anderson2003
- hastie2009
- johnson2007
Frequently asked questions
- ¿Cuándo debo usar QDA en lugar de LDA?
- Utilice el análisis discriminante cuadrático cuando los grupos parezcan tener estructuras de covarianza sustancialmente diferentes y la muestra sea lo suficientemente grande como para estimar de forma fiable una matriz de covarianza separada por grupo.
- ¿Qué es el análisis discriminante regularizado?
- Es un compromiso que reduce cada covarianza de grupo hacia una estimación agrupada, ajustando un parámetro que interpola suavemente entre el análisis discriminante cuadrático y lineal.