Analyse Discriminante Quadratique

L'analyse discriminante quadratique classe les observations au sein de groupes gaussiens multivariés qui peuvent avoir des matrices de covariance différentes, produisant ainsi des frontières de décision courbes.

Definition

L'analyse discriminante quadratique est une méthode de classification qui modélise chaque groupe comme une distribution normale multivariée avec sa propre matrice de covariance et attribue les observations en comparant les scores discriminants quadratiques dérivés de ces densités.

Scope

Ce sujet aborde le modèle de classification gaussien avec des matrices de covariance spécifiques à chaque groupe, les fonctions discriminantes quadratiques résultantes, le compromis en termes de paramètres par rapport à l'analyse discriminante linéaire, la sensibilité aux petits échantillons, et les approches régularisées qui interpolent entre les règles linéaire et quadratique.

Core questions

• Comment l'assouplissement de l'hypothèse d'égalité des covariances modifie-t-il la frontière de décision ?
• Quand la flexibilité ajoutée des covariances séparées améliore-t-elle la classification ?
• Pourquoi l'analyse discriminante quadratique est-elle plus sujette au surapprentissage (overfitting) avec de petits échantillons ?
• Comment la régularisation peut-elle stabiliser les estimations de covariance ?

Key theories

Modèle gaussien à covariances inégales

Lorsque chaque groupe est une distribution normale multivariée avec sa propre matrice de covariance, le rapport logarithmique des densités est quadratique par rapport aux caractéristiques, de sorte que la frontière optimale de Bayes entre les groupes est une surface quadratique.

Compromis biais-variance avec l'analyse discriminante linéaire

L'analyse discriminante quadratique estime une covariance distincte par groupe, réduisant le biais lorsque les covariances diffèrent réellement mais augmentant la variance, elle peut donc être surpassée par la règle linéaire lorsque les échantillons sont petits.

Clinical relevance

L'analyse discriminante quadratique est appliquée lorsque les groupes diffèrent plausiblement par leur dispersion ainsi que par leurs moyennes, offrant des frontières plus flexibles que la règle linéaire dans les problèmes de classification en science et ingénierie.

History

La discrimination quadratique est apparue comme l'extension naturelle du discriminant linéaire de Fisher et gaussien une fois l'hypothèse d'une matrice de covariance commune abandonnée, et a été complétée plus tard par l'analyse discriminante régularisée pour gérer les données de grande dimension et les petits échantillons.

Debates

Frontières linéaires versus quadratiques

Permettre des covariances spécifiques à chaque groupe peut capturer des frontières réellement courbes mais multiplie le nombre de paramètres estimés, le choix entre l'analyse discriminante linéaire et quadratique est donc une décision biais-variance sensible à la taille de l'échantillon.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Quand devrais-je utiliser l'ADQ plutôt que l'ADL ?

Utilisez l'analyse discriminante quadratique lorsque les groupes semblent avoir des structures de covariance substantiellement différentes et que l'échantillon est suffisamment grand pour estimer de manière fiable une matrice de covariance distincte par groupe.

Qu'est-ce que l'analyse discriminante régularisée ?

C'est un compromis qui réduit chaque covariance de groupe vers une estimation regroupée, ajustant un paramètre qui interpole en douceur entre l'analyse discriminante quadratique et linéaire.