先验分布

先验分布编码了在看到数据之前对参数的已知信息，其指定是贝叶斯分析独特的建模步骤。

Definition

先验分布是模型未知参数上的概率分布，它代表了在观察当前数据之前可用的信息或假设，并与似然函数结合形成后验分布。

Scope

该领域涵盖了用于构建先验的族和原则：为分析便利性选择的共轭族、旨在最小化影响的无信息先验和参考先验、用于正则化的弱信息先验，以及指导负责任先验选择的启发和敏感性分析。

Sub-topics

• 共轭先验
• 无信息先验和参考先验
• 先验启发和敏感性分析
• 弱信息先验与正则化先验

Core questions

• 什么使先验共轭，以及共轭为何有用？
• 无信息先验或参考先验是如何构建和证明的？
• 何时弱信息先验优于平坦先验？
• 先验信息是如何启发获得的，以及如何评估对先验的敏感性？

Key concepts

• 先验分布
• 共轭先验
• 无信息先验
• 参考先验
• 杰弗里斯先验
• 弱信息先验
• 非正常先验
• 先验敏感性

Key theories

共轭性

当后验分布保持在同一族中时，先验与似然函数共轭，从而实现闭式更新；共轭先验自然地出现在指数族似然函数中。

杰弗里斯不变先验

杰弗里斯法则将先验设置为与费雪信息行列式的平方根成比例，从而产生在重参数化下不变的先验和规范的客观默认值。

弱信息先验

故意宽泛但适当的先验在不施加强烈实质性信念的情况下提供正则化和计算稳定性，这是现代应用贝叶斯工作中强调的一种方法。

Clinical relevance

先验选择决定了有多少外部证据进入分析，这在小样本设置中具有重要意义，例如早期临床试验、罕见病遗传学和风险评估，在这些情况下，精心选择的先验可以稳定估计。

History

拉普拉斯的“不充分理由原则”提供了第一个默认先验。杰弗里斯在20世纪40年代形式化了不变客观先验；伯纳多在1979年引入了参考先验；现代应用传统则倾向于使用弱信息先验进行正则化和计算可靠性。

Debates

平坦先验与弱信息先验

“无信息”平坦先验是否真正中立存在争议，因为它们可能是不适当的，或者在变换尺度上暗示强烈的信念，这促使人们寻求弱信息替代方案。

Key figures

• Harold Jeffreys
• Jose-Miguel Bernardo
• Edwin T. Jaynes
• Andrew Gelman

Seminal works

• gelman2013
• jeffreys1946

Frequently asked questions

我可以直接使用平坦先验来保持客观性吗？

平坦先验并非自动中立：它可能是不适当的，可能无法产生适当的后验，并且在变量变换后可能具有高度信息性，因此通常更倾向于使用弱信息适当先验。

数据足够多时，先验是否就不再重要了？

在正则条件下，随着样本量的增加，似然函数会占据主导地位，后验分布对合理的先验变得不敏感，但在小样本或多参数情况下，先验仍可能具有影响力。