贝叶斯因子和边际似然

边际似然是在整合其参数后，数据在模型下的概率；而两个边际似然之比，即贝叶斯因子，则衡量了模型之间的证据强度。

Definition

模型的边际似然是似然函数在先验分布上的积分；两个模型之间的贝叶斯因子是它们边际似然之比，乘以先验优势比，即可得到支持一个模型的后验优势比。

Scope

本主题涵盖了边际似然的定义和解释、贝叶斯因子及其证据类别校准、其对复杂性的自动惩罚、揭示其对弥散先验敏感性的Jeffreys-Lindley悖论，以及桥抽样等计算方法。

Core questions

• 什么是边际似然，它如何体现自动的奥卡姆剃刀原理？
• 贝叶斯因子如何被解释为证据强度？
• 如Jeffreys-Lindley悖论所示，为什么贝叶斯因子对先验选择敏感？
• 在实践中如何计算边际似然？

Key concepts

• 边际似然
• 贝叶斯因子
• 后验优势比
• 奥卡姆剃刀
• Jeffreys-Lindley悖论
• 桥抽样
• 先验敏感性

Key theories

贝叶斯因子作为证据

贝叶斯因子将先验优势比转换为后验优势比，并根据校准量表读取，作为数据对一个模型优于另一个模型所提供的证据权重。

Jeffreys-Lindley悖论

由于边际似然取决于先验的分布范围，任意弥散的先验可能会迫使贝叶斯因子偏向更简单的模型，无论数据如何，因此在模型比较中不应使用非正常先验。

Clinical relevance

贝叶斯因子提供了一种用于比较假设的证据的原则性度量，广泛应用于遗传学、心理学和物理学领域。但由于其对先验的依赖性，报告时必须同时说明产生它们的先验。

History

Jeffreys在20世纪30年代为假设检验发展了贝叶斯因子；Lindley在1957年的悖论揭示了它们对弥散先验的敏感性。Kass和Raftery在1995年的综述中标准化了它们的解释并调查了计算方法。

Debates

非正常或模糊先验的使用

由于边际似然对于非正常先验是未定义的，对于非常弥散的先验是不稳定的，因此关于模型比较的默认先验以及贝叶斯因子在此类设置中是否适用存在争议。

Key figures

• Harold Jeffreys
• Dennis Lindley
• Robert Kass
• Adrian Raftery

Seminal works

• kass1995
• lindley1957

Frequently asked questions

我可以使用无信息先验来计算贝叶斯因子吗？

通常不能：非正常先验会使边际似然未定义，而非常弥散的正常先验会使贝叶斯因子偏向更简单的模型，这是Jeffreys-Lindley悖论的本质，因此贝叶斯因子需要仔细选择的正常先验。