偏差-方差与过拟合

偏差-方差权衡解释了模型复杂性如何控制预测误差，其中过拟合和欠拟合是学习者必须平衡的两种失败模式。

Definition

偏差-方差权衡是指预期预测误差分解为偏差（模型过于简单而无法捕捉真实情况所导致的误差）和方差（模型对特定训练样本过于敏感所导致的误差）的原则，模型复杂性在这两者之间转移误差。

Scope

本主题涵盖了预期预测误差分解为偏差、方差和不可约噪声；过拟合和欠拟合的含义；以及正则化在调整平衡中的作用。它还涵盖了经典的U形误差曲线以及在高度过参数化模型中观察到的双下降现象。

Core questions

• 预期误差如何分解为偏差、方差和噪声？
• 过拟合与欠拟合有何特点？
• 正则化如何改变偏差-方差平衡？
• 为什么非常灵活的模型有时尽管容量很高却仍能泛化？

Key theories

偏差-方差分解

对于平方误差损失，预期误差分解为平方偏差、方差和不可约噪声，明确了简化假设如何以偏差为代价降低方差，反之亦然。

过拟合与正则化

当模型捕捉到噪声而非信号时，就会发生过拟合；正则化通过惩罚复杂性来降低方差，以偏差的小幅增加换取方差的更大降低。

超越经典权衡

在高度过参数化的情况下，误差在插值点之后可能会再次下降，即双下降现象，这使得经典的单一U形曲线图景变得复杂。

Clinical relevance

偏差-方差权衡是模型拟合的实践核心，指导模型大小、正则化强度和特征数量的选择，以最小化新数据上的误差；诊断模型是欠拟合还是过拟合是应用机器学习中常规且必不可少的一步。

History

偏差-方差分解由 Geman 及其同事在1992年左右针对神经网络和学习提出，并成为统计学和机器学习中的标准视角。正则化理论使复杂性控制形式化，而最近的双下降发现促使人们重新审视现代过参数化模型的权衡。

Key figures

• Stuart Geman
• Trevor Hastie
• Christopher Bishop

Seminal works

• hastie2009
• bishop2006
• geman1992

Frequently asked questions

过拟合和欠拟合有什么区别？

欠拟合是指模型过于简单，无法捕捉底层模式，导致高偏差，即使在训练数据上性能也很差。过拟合是指模型过于灵活，以至于拟合了训练数据中的噪声，导致高方差，在新数据上性能很差。

正则化有什么帮助？

正则化对模型复杂性施加惩罚，抑制极端或过多的参数。这通常会以偏差的小幅增加为代价降低方差，从而在复杂性过高时降低未见数据上的总误差。