Линейный дискриминантный анализ

Линейный дискриминантный анализ разделяет предопределенные группы, используя линейную комбинацию признаков, что оптимально, когда группы являются гауссовыми с общей ковариационной матрицей.

Definition

Линейный дискриминантный анализ — это метод классификации, который относит наблюдение к группе, среднее значение которой является ближайшим по расстоянию Махаланобиса при общей ковариационной матрице, создавая линейные границы между группами.

Scope

Эта тема охватывает критерий Фишера для максимизации межгрупповой дисперсии относительно внутригрупповой, эквивалентную гауссову модель с равными ковариациями, которая дает линейные границы решений, роль объединенной ковариационной матрицы, многогрупповую дискриминацию с помощью дискриминантных координат и связь с расстоянием Махаланобиса.

Core questions

• Какая линейная комбинация признаков наилучшим образом разделяет группы?
• При каких допущениях линейное правило является оптимальным?
• Как объединенная внутригрупповая ковариация входит в дискриминантную функцию?
• Как одновременно обрабатываются несколько групп?

Key theories

Максимизация разделения

Дискриминант Фишера выбирает направление проекции, которое максимизирует отношение межгрупповой дисперсии к внутригрупповой, давая наиболее разделяющую линейную комбинацию признаков.

Гауссова модель с равными ковариациями

Когда группы являются многомерными нормальными с общей ковариационной матрицей, логарифм отношения плотностей классов является линейным по признакам, поэтому классификатор Байеса сводится к линейному дискриминанту, основанному на расстоянии Махаланобиса до средних значений групп.

Clinical relevance

Линейный дискриминантный анализ остается простым и интерпретируемым базовым классификатором и инструментом уменьшения размерности, который проецирует данные на направления, наилучшим образом разделяющие известные группы, используемым в диагностике, распознавании лиц и хемометрике.

History

Фишер ввел линейный дискриминант в 1936 году, используя измерения цветков ириса, сформулировав его как задачу разделения. Его эквивалентность правилу Байеса для гауссовых популяций с равными ковариациями была установлена впоследствии, связав геометрический и вероятностный подходы.

Debates

Надежность допущения о равных ковариациях

Линейный дискриминантный анализ предполагает общую ковариацию для всех групп; если это допущение нарушается, квадратичный дискриминантный анализ или регуляризованные варианты могут показать лучшие результаты, хотя линейное правило часто более стабильно при малых выборках.

Key figures

• Ronald A. Fisher
• P. C. Mahalanobis

Seminal works

• fisher1936
• anderson2003
• hastie2009

Frequently asked questions

Когда линейный дискриминантный анализ предпочтительнее логистической регрессии?

Когда гауссово допущение о равных ковариациях достаточно хорошо выполняется, особенно в малых выборках или с хорошо разделенными классами, ЛДА может быть более эффективным; логистическая регрессия более устойчива, когда эти допущения сомнительны.

Может ли ЛДА уменьшать размерность?

Да. При наличии нескольких групп он создает дискриминантные координаты, которые охватывают подпространство меньшей размерности, максимизируя разделение групп, что может быть использовано для визуализации.