多元回归

多元回归模型模拟了多个响应变量对一组预测变量的联合依赖性，同时考虑了响应变量之间的相关性。

Definition

多元回归是对两个或多个响应变量同时进行建模，使其成为共同预测变量的函数，并通过推断考虑响应变量之间的协方差结构。

Scope

该领域涵盖了多元广义线性模型及其特化形式：具有多个连续响应的多元多重回归、用于比较组均值向量的多元方差分析，以及降维预测方法，例如针对许多相关预测变量的偏最小二乘法。它涉及估计、通过多元检验统计量进行的假设检验以及响应协方差的建模。

Sub-topics

• multivariate analysis of variance
• multivariate multiple regression
• partial least squares regression

Core questions

• 如何对共同预测变量上的几个相关响应进行联合建模？
• 如何检验关于回归和组均值的多元假设？
• 联合建模响应与单独的单变量回归有何不同？
• 如何预测性地处理许多相关的预测变量？

Key theories

多元广义线性模型

多元线性模型将响应矩阵表示为共同设计矩阵乘以系数矩阵加上相关误差，将多元回归和多元方差分析统一在一个框架下。

多元检验统计量

关于系数或均值向量矩阵的假设通过Wilks' lambda、Pillai、Hotelling-Lawley和Roy准则等统计量进行检验，这些统计量结合了来自不同响应的信息。

Clinical relevance

当结果本质上是多维的（例如每个受试者有多个相关测量值）时，以及在控制总体错误率的同时比较多个结果的组时，会使用多元回归。

History

多元线性模型及其相关的检验统计量是在二十世纪上半叶的经典多元分析理论中发展起来的。后来，偏最小二乘法等方法将具有许多响应或预测变量的回归扩展到化学计量学中常见的​​高维和共线性设置。

Debates

多元检验统计量的选择

Wilks' lambda、Pillai's trace、Hotelling-Lawley trace和Roy's largest root可能会得出不同的结论，并且在功效和稳健性方面存在差异，因此它们之间的选择并不总是明确的。

Key figures

• T. W. Anderson
• Harold Hotelling
• Samuel Wilks

Seminal works

• anderson2003
• johnson2007
• mardia1979

Frequently asked questions

为什么联合建模多个响应而不是一次一个地建模？

联合建模考虑了响应之间的相关性，允许同时检验所有响应的假设，并控制了单独的单变量分析会增加的总体错误率。

多元回归与MANOVA有何关系？

两者都是多元广义线性模型的特例；MANOVA是预测变量编码组归属且重点在于比较组间均值向量的版本。