经验贝叶斯方法

经验贝叶斯从数据本身估计先验分布，以较低的计算成本提供了分层模型的大部分优势。

Definition

经验贝叶斯是一种分层推断方法，其中先验的参数从观测数据中估计，通常通过最大化边际似然，然后在计算组级量的后验时将其视为已知。

Scope

本主题涵盖参数和非参数经验贝叶斯、通过边际最大似然法或矩量法估计超参数、与James-Stein收缩的联系，以及经验贝叶斯可能通过忽略估计先验中的误差而低估不确定性的注意事项。

Core questions

• 如何从数据的边际分布中估计超参数？
• 经验贝叶斯与完全贝叶斯分层建模有何关系？
• 它为何与James-Stein收缩估计器相关联？
• 经验贝叶斯在哪些方面可能低估不确定性？

Key concepts

• 经验贝叶斯
• 边际最大似然
• 超参数估计
• James-Stein估计器
• 收缩
• 错误发现率
• 不确定性低估

Key theories

从数据中估计先验

通过将先验的超参数拟合到所有数据的边际分布，经验贝叶斯学习了如何在不指定超先验的情况下进行合并，从而近似了完整的分层后验。

与Stein收缩的联系

James-Stein估计器可以作为参数经验贝叶斯规则推导出来，明确表明数据估计的先验产生了减少总误差的收缩效应。

Clinical relevance

经验贝叶斯是基因组学和成像领域大规模推断的基础，在这些领域中，数千个效应同时被估计，数据驱动的先验稳定了估计并控制了错误发现。

History

Robbins于1956年引入了经验贝叶斯；Efron和Morris在1970年代将其与Stein收缩联系起来。高通量数据的兴起使得经验贝叶斯成为大规模同步推断的核心，正如Efron在2010年的专著中所阐述的。

Debates

忽略估计先验中的不确定性

由于经验贝叶斯插入了超参数的点估计，它可能会产生相对于完全贝叶斯分析（该分析会传播不确定性）而言过于自信的区间。

Key figures

• Herbert Robbins
• Bradley Efron
• Carl Morris

Seminal works

• robbins1956
• efron2010

Frequently asked questions

经验贝叶斯真的是贝叶斯方法吗？

它是一种混合方法：它使用贝叶斯定理处理组级参数，但从数据中估计先验而不是预先指定，这近似于一个完整的分层模型，但通常会低估先验中的不确定性。