高斯过程模型

高斯过程直接在函数上设置先验，从而可以通过校准不确定性进行非参数回归和分类。

Definition

高斯过程是函数上的一个分布，使得任何有限输入集上的值都遵循由均值函数和协方差核确定的多元正态分布；根据观测数据进行条件化可以得到用于预测的函数后验。

Scope

本主题涵盖通过均值和协方差（核）函数定义高斯过程，回归的封闭形式后验，核选择和超参数在编码平滑度中的作用，通过潜在高斯过程进行分类，以及大型数据集的计算成本。

Core questions

• 协方差核如何定义函数上的先验？
• 高斯过程回归后验如何以封闭形式计算？
• 核超参数如何控制平滑度和长度尺度？
• 为什么精确的高斯过程推断对于大型数据集来说成本高昂？

Key concepts

• 协方差核
• 均值函数
• 长度尺度
• 高斯过程回归
• 潜在高斯过程
• 边际似然
• 可扩展性

Key theories

函数空间先验

指定均值和协方差函数定义了函数上的一个连贯先验；对于高斯似然，后验均值和方差具有由核矩阵给出的封闭形式。

神经网络极限

尼尔（Neal）表明，具有无限多个隐藏单元和适当先验的单层神经网络收敛于高斯过程，从而将贝叶斯神经网络与高斯过程先验联系起来。

Clinical relevance

高斯过程为空间统计、计算机模型仿真、时间序列插值以及科学和工程领域的贝叶斯优化提供了具有不确定性的灵活回归。

History

高斯过程回归的根源在于地统计学中的克里金法和奥黑根（O'Hagan）关于曲线拟合的工作。尼尔（Neal）在1996年将其与神经网络联系起来，拉斯穆森（Rasmussen）和威廉姆斯（Williams）在2006年的专著确立了高斯过程作为核心机器学习和非参数贝叶斯工具的地位。

Debates

扩展到大数据

精确推断的成本随观测数量呈立方增长，因此许多研究关注稀疏和近似方法，以牺牲精度换取可扩展性。

Key figures

• Carl Edward Rasmussen
• Christopher Williams
• Radford Neal
• Anthony O'Hagan

Seminal works

• rasmussen2006
• neal1996

Frequently asked questions

高斯过程中的核有什么作用？

核设定了不同输入处函数值之间的协方差，编码了平滑度和特征长度尺度等假设；它的选择和超参数在很大程度上决定了推断函数的形状和灵活性。