贝叶斯和收缩估计

贝叶斯估计器将先验信念与数据结合，以最小化平均风险；收缩估计器则利用了一个令人惊讶的事实，即将估计值拉向中心可以优于显而易见的估计器。

Definition

贝叶斯估计器旨在最小化参数先验分布上的预期损失；收缩估计器则有意地将估计值偏向一个固定点或共同均值，以降低其整体均方误差。

Scope

本主题涵盖先验分布和后验分布、平方误差损失函数及其他损失函数下的贝叶斯估计器（作为后验均值）、贝叶斯风险与频率论风险之间的关系、James-Stein估计器和Stein在三个或更多维度上不可容许性的悖论、经验贝叶斯和分层收缩，以及使收缩具有优势的偏差-方差权衡。

Core questions

• 在给定损失函数下，贝叶斯估计器是如何从后验分布中推导出来的？
• 为什么James-Stein估计器在三个或更多维度上优于样本均值？
• 经验贝叶斯如何通过相关估计问题借用信息？
• 收缩引入的偏差何时能通过降低风险而获得回报？

Key theories

贝叶斯估计器和后验期望

在平方误差损失下，贝叶斯估计器是后验均值；对于其他损失，它是相应的后验汇总统计量，并且它最小化了先验平均的贝叶斯风险。

Stein悖论和James-Stein估计器

当同时估计三个或更多均值时，在平方误差损失下，样本均值是不可容许的，而向共同点收缩的James-Stein估计器具有一致更小的风险。

Clinical relevance

当需要同时估计许多相关量时，例如在小区域估计、体育和教育排名、基因组学以及岭回归和正则化回归中，收缩估计器和经验贝叶斯估计器可以提高准确性。在这种情况下，跨单元汇集信息优于单独处理每个单元。

History

Stein于1956年指出，多元正态均值的常用估计器在三个或更多维度上是不可容许的，James和Stein于1961年提出了一个占优估计器。Efron和Morris在20世纪70年代通过经验贝叶斯重新阐释了这一结果，使收缩成为一种实用的工具。

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

为什么有偏估计器有时会更受青睐？

因为均方误差结合了偏差和方差；一个小的偏差如果能带来方差的大幅降低，就可以降低总误差，这正是收缩估计器所利用的原理。

Stein悖论真的是一个悖论吗？

它更令人惊讶而非矛盾：它表明，通过联合收缩来估计几个不相关的均值可以改善结果，因为降低的是组合风险，而不是每个单独的估计。