偏最小二乘回归

偏最小二乘回归从预测变量中构建少量潜在成分，这些成分与响应变量具有高度协方差，从而在预测变量众多且共线时实现预测。

Definition

偏最小二乘回归是一种方法，它提取正交潜在成分作为预测变量的线性组合，这些组合旨在最大化其与响应变量的协方差，并根据这些成分对响应变量进行回归。

Scope

本主题涵盖通过最大化预测变量块和响应变量块之间的协方差来构建潜在成分，与主成分回归和普通最小二乘法的对比，处理许多相关或高维预测变量，通过交叉验证选择成分数量，以及该方法在化学计量学中的突出作用。

Core questions

• 当存在许多高度相关的预测变量时，如何预测响应变量？
• 基于协方差的成分提取与基于方差的主成分有何不同？
• 应保留多少个潜在成分？
• 为什么该方法对化学计量学至关重要？

Key theories

协方差最大化成分

与主成分回归不同，主成分回归提取最大预测变量方差的成分，而偏最小二乘法提取与响应变量具有最大协方差的成分，从而将降维导向预测。

潜在结构上的回归

通过对少数提取的潜在成分而不是原始预测变量进行响应变量回归，当预测变量共线或数量多于观测值时，该方法可以稳定估计。

Clinical relevance

偏最小二乘回归是化学计量学的主力，广泛应用于光谱学、基因组学以及其他具有许多相关预测变量和少量样本的环境中，在这些环境中，普通最小二乘法是不稳定的。

History

偏最小二乘法起源于Herman Wold的迭代估计方法，并由Svante Wold及其同事发展成为化学计量学中的一种回归工具，在高维、共线光谱数据使其尤其有价值。

Debates

潜在成分的解释

潜在成分是所有预测变量的组合，可能难以解释，并且偏最小二乘法与惩罚回归方法在高维预测方面的相对优点存在争议。

Key figures

• Herman Wold
• Svante Wold

Seminal works

• hastie2009
• wold2001
• johnson2007

Frequently asked questions

PLS与主成分回归有何不同？

主成分回归选择仅解释预测变量方差的成分，而偏最小二乘法选择与响应变量也具有高协方差的成分，通常以更少的成分提供更好的预测。

PLS何时特别有用？

当预测变量高度共线或数量远多于观测值时，例如在光谱和基因组数据中，普通最小二乘法无法可靠应用。