Analyse discriminante linéaire

L'analyse discriminante linéaire sépare des groupes prédéfinis en utilisant une combinaison linéaire de caractéristiques, optimale lorsque les groupes sont gaussiens avec une matrice de covariance commune.

Definition

L'analyse discriminante linéaire est une méthode de classification qui attribue une observation au groupe dont la moyenne est la plus proche en termes de distance de Mahalanobis sous une matrice de covariance commune, produisant des frontières linéaires entre les groupes.

Scope

Ce thème aborde le critère de Fisher de maximisation de la variance inter-groupe par rapport à la variance intra-groupe, le modèle gaussien équivalent avec des covariances égales qui produit des frontières de décision linéaires, le rôle de la matrice de covariance agrégée, la discrimination multi-groupe via les coordonnées discriminantes, et le lien avec la distance de Mahalanobis.

Core questions

• Quelle combinaison linéaire de caractéristiques sépare le mieux les groupes ?
• Sous quelles hypothèses la règle linéaire est-elle optimale ?
• Comment la covariance intra-groupe agrégée intervient-elle dans la fonction discriminante ?
• Comment plusieurs groupes sont-ils traités simultanément ?

Key theories

Maximisation de la séparation

Le discriminant de Fisher choisit la direction de projection qui maximise le rapport de la variance inter-groupe à la variance intra-groupe, donnant la combinaison linéaire des caractéristiques la plus séparatrice.

Modèle gaussien à covariance égale

Lorsque les groupes sont multivariés normaux avec une matrice de covariance partagée, le rapport logarithmique des densités de classe est linéaire par rapport aux caractéristiques, de sorte que le classifieur de Bayes se réduit au discriminant linéaire basé sur la distance de Mahalanobis aux moyennes de groupe.

Clinical relevance

L'analyse discriminante linéaire demeure un classifieur de référence simple et interprétable, ainsi qu'un outil de réduction de dimension qui projette les données sur les directions qui séparent le mieux les groupes connus, utilisé en diagnostic, en reconnaissance faciale et en chimiométrie.

History

Fisher a introduit le discriminant linéaire en 1936 en utilisant des mesures sur des fleurs d'iris, le présentant comme un problème de séparation. Son équivalence avec la règle de Bayes pour les populations gaussiennes à covariance égale a été établie par la suite, reliant les vues géométriques et probabilistes.

Debates

Robustesse de l'hypothèse de covariance égale

L'analyse discriminante linéaire suppose une covariance commune entre les groupes ; lorsque cette hypothèse n'est pas vérifiée, l'analyse discriminante quadratique ou des variantes régularisées peuvent être plus performantes, bien que la règle linéaire soit souvent plus stable sur de petits échantillons.

Key figures

• Ronald A. Fisher
• P. C. Mahalanobis

Seminal works

• fisher1936
• anderson2003
• hastie2009

Frequently asked questions

Quand l'analyse discriminante linéaire est-elle préférée à la régression logistique ?

Lorsque l'hypothèse gaussienne de covariance égale est raisonnablement bien vérifiée, en particulier sur de petits échantillons ou avec des classes bien séparées, l'ADL peut être plus efficace ; la régression logistique est plus robuste lorsque ces hypothèses sont douteuses.

L'ADL peut-elle réduire la dimensionnalité ?

Oui. Avec plusieurs groupes, elle produit des coordonnées discriminantes qui couvrent un sous-espace de dimension inférieure maximisant la séparation des groupes, qui peuvent être utilisées pour la visualisation.