Регрессия методом частичных наименьших квадратов

Регрессия методом частичных наименьших квадратов строит небольшое количество латентных компонент из предикторов, которые имеют высокую ковариацию с откликами, что позволяет осуществлять прогнозирование при многочисленных и коллинеарных предикторах.

Definition

Регрессия методом частичных наименьших квадратов — это метод, который извлекает ортогональные латентные компоненты как линейные комбинации предикторов, выбранные для максимизации их ковариации с откликами, и регрессирует отклики на эти компоненты.

Scope

Эта тема охватывает построение латентных компонент путем максимизации ковариации между блоками предикторов и откликов, сравнение с регрессией на основе главных компонент и обычным методом наименьших квадратов, обработку множества коррелированных или высокоразмерных предикторов, выбор количества компонент с помощью перекрестной проверки, а также выдающуюся роль метода в хемометрике.

Core questions

• Как можно предсказывать отклики, когда имеется много сильно коррелированных предикторов?
• Чем извлечение компонент на основе ковариации отличается от главных компонент на основе дисперсии?
• Сколько латентных компонент следует сохранить?
• Почему этот метод занимает центральное место в хемометрике?

Key theories

Компоненты, максимизирующие ковариацию

В отличие от регрессии на основе главных компонент, которая извлекает компоненты с максимальной дисперсией предикторов, метод частичных наименьших квадратов извлекает компоненты с максимальной ковариацией с откликами, направляя редукцию на прогнозирование.

Регрессия на латентных структурах

Регрессируя отклики на несколько извлеченных латентных компонент, а не на исходные предикторы, метод стабилизирует оценку, когда предикторы коллинеарны или их число превышает количество наблюдений.

Clinical relevance

Регрессия методом частичных наименьших квадратов является основным инструментом хемометрики и широко используется в спектроскопии, геномике и других областях с множеством коррелированных предикторов и небольшим количеством образцов, где обычный метод наименьших квадратов нестабилен.

History

Метод частичных наименьших квадратов возник из итерационных методов оценки Германа Вольда и был разработан Сванте Вольдом и его коллегами как инструмент регрессии для хемометрики, где высокоразмерные, коллинеарные спектральные данные сделали его особенно ценным.

Debates

Интерпретация латентных компонент

Латентные компоненты представляют собой комбинации всех предикторов и могут быть сложны для интерпретации, а относительные достоинства метода частичных наименьших квадратов по сравнению с методами регуляризованной регрессии для высокоразмерного прогнозирования обсуждаются.

Key figures

• Herman Wold
• Svante Wold

Seminal works

• hastie2009
• wold2001
• johnson2007

Frequently asked questions

Чем PLS отличается от регрессии на основе главных компонент?

Регрессия на основе главных компонент выбирает компоненты, которые объясняют только дисперсию предикторов, в то время как метод частичных наименьших квадратов выбирает компоненты, которые также имеют высокую ковариацию с откликами, часто обеспечивая лучшее прогнозирование с меньшим количеством компонент.

Когда PLS особенно полезен?

Когда предикторы сильно коллинеарны или значительно превосходят число наблюдений, как в спектроскопических и геномных данных, где обычный метод наименьших квадратов не может быть надежно применен.