Квадратичный дискриминантный анализ

Квадратичный дискриминантный анализ классифицирует наблюдения в рамках многомерных гауссовских групп, которые могут иметь различные ковариационные матрицы, формируя изогнутые границы принятия решений.

Definition

Квадратичный дискриминантный анализ — это метод классификации, который моделирует каждую группу как многомерное нормальное распределение с собственной ковариационной матрицей и присваивает наблюдения путем сравнения квадратичных дискриминантных оценок, полученных из этих плотностей.

Scope

Эта тема охватывает гауссовскую классификационную модель с ковариационными матрицами, специфичными для группы, результирующие квадратичные дискриминантные функции, компромисс в параметрах относительно линейного дискриминантного анализа, чувствительность к малым выборкам и регуляризованные подходы, которые интерполируют между линейными и квадратичными правилами.

Core questions

• Как ослабление предположения о равных ковариациях изменяет границу принятия решения?
• Когда дополнительная гибкость отдельных ковариаций улучшает классификацию?
• Почему квадратичный дискриминантный анализ более подвержен переобучению в малых выборках?
• Как регуляризация может стабилизировать оценки ковариации?

Key theories

Гауссовская модель с неравными ковариациями

Когда каждая группа является многомерным нормальным распределением со своей собственной ковариационной матрицей, логарифмическое отношение плотностей является квадратичным по признакам, поэтому оптимальная по Байесу граница между группами представляет собой квадратичную поверхность.

Компромисс между смещением и дисперсией в линейном дискриминантном анализе

Квадратичный дискриминантный анализ оценивает отдельную ковариацию для каждой группы, уменьшая смещение, когда ковариации действительно различаются, но увеличивая дисперсию, поэтому он может уступать линейному правилу при малых выборках.

Clinical relevance

Квадратичный дискриминантный анализ применяется, когда группы, предположительно, различаются как по дисперсии, так и по средним значениям, предлагая более гибкие границы, чем линейное правило, в задачах классификации в науке и инженерии.

History

Квадратичная дискриминация возникла как естественное расширение дискриминантного анализа Фишера и гауссовского линейного дискриминанта после того, как было отброшено предположение об общей ковариационной матрице, и позднее была дополнена регуляризованным дискриминантным анализом для обработки высокоразмерных данных и данных малых выборок.

Debates

Линейные против квадратичных границ

Разрешение ковариаций, специфичных для группы, может улавливать действительно изогнутые границы, но умножает количество оцениваемых параметров, поэтому выбор между линейным и квадратичным дискриминантным анализом является решением, зависящим от компромисса между смещением и дисперсией и чувствительным к размеру выборки.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Когда следует использовать QDA вместо LDA?

Используйте квадратичный дискриминантный анализ, когда группы, по-видимому, имеют существенно различные ковариационные структуры, и выборка достаточно велика, чтобы надежно оценить отдельную ковариационную матрицу для каждой группы.

Что такое регуляризованный дискриминантный анализ?

Это компромисс, который сжимает ковариацию каждой группы к объединенной оценке, настраивая параметр, который плавно интерполирует между квадратичным и линейным дискриминантным анализом.