我应该何时使用QDA而不是LDA？

当各组似乎具有显著不同的协方差结构，并且样本量足够大以可靠地估计每个组的单独协方差矩阵时，应使用二次判别分析。

什么是正则化判别分析？

它是一种折衷方案，将每个组的协方差收缩到合并估计值，调整一个参数，该参数在二次判别分析和线性判别分析之间平滑插值。

二次判别分析在多元高斯分布组下对观测值进行分类，这些组被允许具有不同的协方差矩阵，从而产生弯曲的决策边界。

用 PaperMind 寻找选题即将推出Find papers & topics

Tools & resources

Learn & explore

视频即将推出

二次判别分析是一种分类方法，它将每个组建模为具有其自身协方差矩阵的多元正态分布，并通过比较从这些密度导出的二次判别分数来分配观测值。

本主题涵盖了具有组特定协方差矩阵的高斯分类模型、由此产生的二次判别函数、相对于线性判别分析的参数权衡、对小样本的敏感性，以及在线性和二次规则之间进行插值的正则化方法。

不等协方差高斯模型: 当每个组都是具有其自身协方差矩阵的多元正态分布时，密度的对数比在特征上是二次的，因此组间的最优贝叶斯边界是二次曲面。
线性判别分析的偏差-方差权衡: 二次判别分析为每个组估计一个单独的协方差，当协方差确实不同时减少了偏差，但增加了方差，因此当样本量较小时，它可能不如线性规则。

当各组在离散度和均值上都可能存在差异时，二次判别分析便可应用，它在科学和工程领域的分类问题中提供比线性规则更灵活的边界。

二次判别分析是费舍尔判别分析和高斯线性判别分析在放弃共同协方差矩阵假设后的自然延伸，后来通过正则化判别分析进行了补充，以处理高维和小样本数据。

线性与二次边界: 允许组特定协方差可以捕获真正的弯曲边界，但会使估计参数的数量成倍增加，因此在线性判别分析和二次判别分析之间进行选择是一个对样本量敏感的偏差-方差决策。