Análise Discriminante Quadrática

A análise discriminante quadrática classifica observações em grupos gaussianos multivariados que podem ter diferentes matrizes de covariância, produzindo fronteiras de decisão curvas.

Definition

A análise discriminante quadrática é um método de classificação que modela cada grupo como normal multivariado com sua própria matriz de covariância e atribui observações comparando pontuações discriminantes quadráticas derivadas dessas densidades.

Scope

Este tópico abrange o modelo de classificação gaussiano com matrizes de covariância específicas para cada grupo, as funções discriminantes quadráticas resultantes, a compensação nos parâmetros em relação à análise discriminante linear, a sensibilidade a amostras pequenas e abordagens regularizadas que interpolam entre as regras linear e quadrática.

Core questions

• Como o relaxamento da suposição de covariância igual altera a fronteira de decisão?
• Quando a flexibilidade adicional de covariâncias separadas melhora a classificação?
• Por que a análise discriminante quadrática é mais propensa ao sobreajuste em amostras pequenas?
• Como a regularização pode estabilizar as estimativas de covariância?

Key theories

Modelo Gaussiano de covariância desigual

Quando cada grupo é normal multivariado com sua própria matriz de covariância, a razão logarítmica das densidades é quadrática nas características, de modo que a fronteira ótima de Bayes entre os grupos é uma superfície quadrática.

Compensação viés-variância com análise discriminante linear

A análise discriminante quadrática estima uma covariância separada por grupo, reduzindo o viés quando as covariâncias realmente diferem, mas aumentando a variância, de modo que pode ser superada pela regra linear quando as amostras são pequenas.

Clinical relevance

A análise discriminante quadrática é aplicada quando os grupos plausivelmente diferem em sua dispersão, bem como em suas médias, oferecendo fronteiras mais flexíveis do que a regra linear em problemas de classificação em ciência e engenharia.

History

A discriminação quadrática surgiu como a extensão natural da discriminação linear de Fisher e Gaussiana, uma vez que a suposição de uma matriz de covariância comum é abandonada, e foi posteriormente complementada pela análise discriminante regularizada para lidar com dados de alta dimensão e amostras pequenas.

Debates

Fronteiras lineares versus quadráticas

Permitir covariâncias específicas do grupo pode capturar fronteiras genuinamente curvas, mas multiplica o número de parâmetros estimados, de modo que a escolha entre análise discriminante linear e quadrática é uma decisão de viés-variância sensível ao tamanho da amostra.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Quando devo usar QDA em vez de LDA?

Use a análise discriminante quadrática quando os grupos parecerem ter estruturas de covariância substancialmente diferentes e a amostra for grande o suficiente para estimar uma matriz de covariância separada por grupo de forma confiável.

O que é análise discriminante regularizada?

É um compromisso que encolhe a covariância de cada grupo em direção a uma estimativa agrupada, ajustando um parâmetro que interpola suavemente entre a análise discriminante quadrática e linear.