弱信息先验与正则化先验

弱信息先验是经过深思熟虑的温和、恰当的先验，它排除了不合理的参数值，并在不施加强烈实质性信念的情况下稳定了估计。

Definition

弱信息先验是一种恰当的先验，其选择旨在在合理参数值的尺度上保持宽泛，提供足够的信息来正则化后验并改进计算，同时在该范围内对特定值保持不确定性。

Scope

本主题涵盖了弱信息先验优于平坦先验的理由、它们的正则化和收缩效应、回归系数和尺度参数的默认选择，以及稀疏性诱导先验，如马蹄形先验（horseshoe prior）和贝叶斯Lasso。

Core questions

• 为什么在实践中弱信息先验优于平坦先验或非恰当先验？
• 先验如何正则化估计并将其收缩到合理值？
• 回归系数和方差参数推荐使用哪些默认先验？
• 马蹄形先验等稀疏性先验如何处理许多可能为零的系数？

Key concepts

• 弱信息先验
• 正则化
• 收缩
• 马蹄形先验
• 贝叶斯Lasso
• 尺度先验
• 分离

Key theories

通过先验进行正则化

具有有限尺度的先验惩罚极端估计，减少方差并防止分离问题；许多惩罚似然估计器对应于特定先验下的后验众数。

全局-局部收缩

马蹄形先验等稀疏性先验使用重尾局部尺度和全局尺度，使得小系数被强烈收缩，而大信号则免于收缩。

Clinical relevance

正则化先验在基因组学和生物标志物选择等高维和稀疏问题中稳定估计，并防止当数据对参数识别能力较弱时出现发散估计。

History

随着贝叶斯计算在21世纪初变得常规化，人们的注意力从平坦的“无信息”先验转向了弱信息默认先验，后者既能改进推断又能改进抽样。稀疏性先验，包括贝叶斯Lasso和2010年的马蹄形估计器，将这种思想扩展到高维回归。

Debates

默认先验应该有多弱？

关于如何设置弱信息先验的尺度，以便它们在不无意中偏倚相关尺度上的结论的情况下进行有效正则化，目前仍在持续讨论中。

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

弱信息先验与无信息先验有何不同？

无信息先验试图添加尽可能少的信息，并且可能是不恰当的，而弱信息先验是恰当的，并有意添加温和的信息以排除不合理的值并稳定分析。