风险与可容许性

风险函数记录了在每个参数值下规则的预期损失；可容许性则探讨是否存在任何其他规则在所有情况下表现至少一样好，并且在某些情况下表现更好。

Definition

决策规则的风险函数是作为参数函数的预期损失；如果存在某个其他规则，其风险在所有参数值下不大于原规则，并且在至少一个参数值下严格小于原规则，则称原规则是不可容许的；如果不存在这样的规则，则称原规则是可容许的。

Scope

本主题涵盖损失函数和风险函数、通过风险优势对规则进行偏序、可容许和不可容许规则的定义、以三维或更高维度下样本均值的不可容许性为例进行核心阐述、通过贝叶斯和极限贝叶斯论证以及斯坦因恒等式证明可容许性的方法，以及可容许性与无偏性之间的关系。

Core questions

• 风险函数如何概括规则在参数空间中的表现？
• 一个规则优于另一个规则意味着什么，以及因此一个规则不可容许意味着什么？
• 为什么在平方误差损失下，样本均值在三维或更高维度下是不可容许的？
• 贝叶斯和极限贝叶斯论证如何用于证明可容许性？

Key theories

风险优势与可容许性

当存在另一个规则其风险在所有情况下不大于原规则且在某些情况下严格小于原规则时，原规则是不可容许的；可容许规则是那些不能被一致改进的规则，是最小的优化要求。

斯坦因不可容许性

在平方误差损失下，多元正态均值的常用估计量在三维或更高维度下是不可容许的，它被收缩估计量所支配，这一结果是使用斯坦因恒等式证明的。

Clinical relevance

认识到熟悉的估计量可能不可容许，这证明了在高维预测中常规使用收缩和正则化的合理性，因为与单独处理每个坐标相比，将估计值拉向共同中心可证明地降低总风险。

History

瓦尔德在20世纪40年代引入了风险和可容许性。斯坦因在1956年证明多元正态均值估计量在三维或更高维度下不可容许，这颠覆了直觉，并与1961年的詹姆斯-斯坦因估计量一起，使可容许性成为一个核心关注点。

Key figures

• Abraham Wald
• Charles Stein
• David Blackwell
• James O. Berger

Seminal works

• lehmannCasella1998

Frequently asked questions

如果一个规则是可容许的，它就是最好的规则吗？

不是。可容许性仅仅排除了被一致击败的情况；许多可容许规则表现平平，而一个好的规则也可能是不可容许的，因此可容许性是优化必要而非充分条件。

为什么三维对斯坦因的结果很重要？

样本均值在平方误差损失下的不可容许性在三维或更高维度下成立，但在二维或一维下不成立；在三维以下，收缩无法一致地改进样本均值。