支持向量机与核方法

支持向量机寻找使类别间距最大化的决策边界，而核技巧则允许此类线性方法在丰富的非线性特征空间中隐式操作。

Definition

支持向量机是一种分类器，它选择使到最近训练点距离最大化的分离超平面；核方法通过核函数计算内积来推广这一点，允许线性算法拟合非线性边界，而无需显式构建高维特征空间。

Scope

本主题涵盖最大间隔分类、支持向量机的原始和对偶公式、支持向量和松弛变量在不可分数据中的作用、用核函数替换内积的核技巧、多项式和径向基函数等常见核函数，以及核化向回归和其他线性方法的扩展。

Core questions

• 为什么最大化间隔倾向于改善泛化能力？
• 对偶公式如何用支持向量来表达解？
• 核技巧实现了什么，为什么它效率高？
• 当类别重叠时，软间隔和松弛变量如何使用？

Key theories

最大间隔分离

在所有分离超平面中，使到最近点间隔最大化的超平面产生由少数支持向量确定的唯一解，并与良好的泛化界限相关联。

核技巧

由于优化仅通过内积依赖于数据，用核函数替换内积可以隐式评估非线性特征映射，以线性方法的成本拟合非线性边界。

软间隔和松弛变量

通过松弛变量和正则化参数允许受控的间隔违规，使得支持向量机适用于重叠、有噪声的类别，同时权衡间隔宽度与训练误差。

Clinical relevance

在深度学习出现之前，支持向量机和核方法是领先的高精度分类器，对于中等规模的问题，尤其是在文本和生物信息学领域，它们仍然是强有力的选择；核思想也远远超出了分类的范畴，出现在核回归、高斯过程和核主成分分析中。

History

最大间隔思想和核技巧由 Boser、Guyon 和 Vapnik 于1992年左右结合，软间隔支持向量机由 Cortes 和 Vapnik 于1995年正式提出。在1990年代末和2000年代，核方法在模式识别领域占据主导地位，之后在大型感知任务中被深度学习很大程度上取代。

Key figures

• Vladimir Vapnik
• Corinna Cortes
• Bernhard Scholkopf

Seminal works

• cortes1995
• vapnik1995
• bishop2006

Frequently asked questions

什么是支持向量？

支持向量是位于间隔上或间隔内的训练点，因此决定了决策边界的位置。拟合的分类器仅依赖于这些点，因此其余训练数据可以被丢弃。

为什么使用核被称为“技巧”？

核技巧使算法表现得好像它已将数据映射到非常高维甚至无限维的特征空间中，而实际上只计算点对之间的核值。它避免了显式构建该空间的成本。