预测信息准则

预测信息准则根据模型的后验估计其预期的样本外准确性，为比较模型提供了一种以预测为重点的贝叶斯因子替代方案。

Definition

预测信息准则是一种模型在新数据上预期对数预测密度的估计值，通过后验样本计算，并通过有效参数惩罚校正过拟合，用于根据预测性能对模型进行排序。

Scope

本主题涵盖了偏差信息准则（DIC）、广泛适用信息准则（WAIC）以及高效帕累托平滑重要性采样留一法交叉验证，包括它们如何估计有效参数数量并近似预期对数预测密度。

Core questions

• DIC、WAIC和留一法交叉验证如何估计预测准确性？
• 有效参数数量是什么，它是如何计算的？
• 为什么WAIC被认为比DIC更完全贝叶斯？
• 帕累托平滑重要性采样如何使留一法交叉验证变得高效？

Key concepts

• DIC
• WAIC
• 留一法交叉验证
• 预期对数预测密度
• 有效参数数量
• 帕累托平滑重要性采样
• 过拟合惩罚

Key theories

有效参数数量

每个准则都通过对数似然在后验中的变异性导出的模型复杂性估计来惩罚拟合，从而使更好的样本内拟合不会自动获胜。

WAIC与交叉验证等价性

Watanabe表明WAIC渐近等价于贝叶斯留一法交叉验证，两者都直接使用完整后验来针对预期的样本外对数预测密度。

Clinical relevance

预测准则使研究人员能够在流行病学、生态学和物理科学中比较候选预测模型，而无需指定贝叶斯因子所需的精心调整的先验。

History

Spiegelhalter及其同事于2002年提出了DIC；Watanabe于2010年从奇异学习理论中引入了WAIC。Vehtari、Gelman和Gabry在2017年关于帕累托平滑重要性采样留一法交叉验证的工作，使得稳定、可诊断的预测评估成为可能。

Debates

DIC的可靠性

DIC在分层和非正则模型中表现可能不佳，并且缺乏不变性，导致许多人更倾向于WAIC或留一法交叉验证，尽管没有哪个单一准则普遍最佳。

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

信息准则值是越低越好还是越高越好？

这些准则通常以偏差尺度报告，其中较低的值表示更好的估计样本外预测准确性；差异应根据其标准误差来判断，而不是视为精确值。