泛化界限
泛化界限从样本量和模型容量的角度，对模型真实误差超出训练误差的程度提供了概率保证。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
泛化界限是一个不等式，它表明，在随机训练样本上以高概率，学习模型的真实误差至多是其训练误差加上一个随模型容量增长而随样本量减小的项，从而证明了模型在未见数据上的可信度。
Scope
本主题涵盖泛化的理论界限：基于Vapnik-Chervonenkis维度的均匀收敛界限、Rademacher复杂度等复杂性度量、基于间隔的界限，以及可能近似正确（PAC）的样本复杂度概念。它探讨了这些界限如何依赖于数据大小和容量，以及为什么它们在实践中往往比较宽松。
Core questions
- 真实误差如何根据训练误差和容量进行界定？
- 随着样本量的增加，界限如何改善？
- 现代界限中出现了哪些复杂性度量？
- 为什么泛化界限对于实际模型而言通常比较宽松？
Key theories
- 均匀收敛界限
- 基于Vapnik-Chervonenkis维度的界限保证，以高概率，训练误差在模型类别上均匀地近似真实误差，其差距随样本量与容量比值的平方根而缩小。
- 基于间隔和复杂度的界限
- 利用分类间隔或Rademacher复杂度的改进提供了更紧密、依赖于数据的界限，更好地解释了大间隔分类器的成功。
- 样本复杂度
- 界限转化为样本复杂度，即达到目标精度和置信度所需的样本数量，从而明确了学习所需的数据量。
Clinical relevance
泛化界限为机器学习的核心承诺（即拟合数据可以预测新数据）提供了形式上的保证，并推动了正则化和容量控制；尽管通常过于宽松而无法预测精确误差，但它们捕捉了对数据大小和复杂度的定性依赖，从而指导了实践。
History
最早的通用界限来自Vapnik和Chervonenkis的均匀收敛结果，后来通过基于间隔和Rademacher复杂度的分析得到了完善。可能近似正确（PAC）框架将这些界限重新表述为样本复杂度陈述，最近的工作则致力于解释高度过参数化模型泛化能力的界限。
Key figures
- Vladimir Vapnik
- Alexey Chervonenkis
- Peter Bartlett
Related topics
Seminal works
- vapnik1971
- vapnik1995
- hastie2009
Frequently asked questions
- 泛化界限告诉你什么？
- 它表明，以高概率，模型在未见数据上的误差不会超过其训练误差，超出量取决于模型类别的复杂程度以及使用了多少数据。更多的数据和更低的容量会使保证更紧密。
- 为什么这些界限通常过于宽松而无法直接使用？
- 经典界限是基于最坏情况且与分布无关的，因此它们适用于任何数据分布和类别中的任何模型。这种普遍性使其具有悲观性，通常预测的误差差距远大于实践中观察到的，因此它们更多地用于提供洞察力而非精确数值。