什么是损失函数？

它量化了当特定参数值为真时采取特定行动的成本；常见的选择是用于估计的平方误差和用于分类的零一损失，而风险是其期望值。

可容许规则总是好的规则吗？

不一定。可容许性仅意味着没有其他规则在任何地方都优于它；有些可容许规则总体上很差，有些优秀的规则是不可容许的，因此可容许性是最低限度的美德而非充分的美德。

统计决策理论将估计和检验视为不确定性下的选择，通过其预期损失来判断，并探究哪些决策规则是最佳的。

用 PaperMind 寻找选题即将推出Find papers & topics

Tools & resources

Learn & explore

视频即将推出

统计决策理论是瓦尔德（Wald）提出的一个框架，其中统计程序是一种将数据映射到行动的决策规则，通过其风险（损失函数的期望值）进行评估，并通过可容许性、极小极大性和贝叶斯最优性等标准与其他规则进行比较。

该领域涵盖损失函数和作为预期损失的风险函数、决策规则的比较、可容许性和不可容许性、最小化最坏情况风险的极小极大规则、在先验下最小化平均风险的贝叶斯规则、贝叶斯规则、极小极大规则和最不利先验之间的关系、随机决策和风险集的几何结构，以及表征值得考虑的规则的完备类定理。

风险和可容许性: 每个规则在参数空间上都有一个风险函数；如果存在另一个规则在任何地方的风险都不大于它，并且在某些地方的风险严格小于它，则该规则是不可容许的，否则是可容许的。
贝叶斯和极小极大规则: 贝叶斯规则在先验下最小化平均风险，极小极大规则最小化最坏情况风险，在一定条件下，极小极大规则是针对最不利先验的贝叶斯规则，从而将这两个标准联系起来。
完备类定理: 在凸性和紧致性条件下，可容许规则与贝叶斯规则及其极限基本一致，因此可以将注意力限制在这个完备类中而不会造成损失。

决策理论风险是估计器和分类器通过预期损失进行比较的基础，是医学筛查和操作中成本敏感决策设计的基础，也是在没有单一规则占优时在程序之间进行原则性选择的基础，为贝叶斯和频率论方法提供了概念性支柱。

瓦尔德在20世纪40年代创立了统计决策理论，将估计和检验统一为风险下的决策，并证明了早期的完备类和极小极大结果。布莱克威尔（Blackwell）、斯坦（Stein）等人发展了可容许性以及与贝叶斯规则的联系，这些内容在伯杰（Berger）的专著中得到了整合。

极小极大准则与贝叶斯准则: 极小极大性可以防范最坏情况，但可能过于悲观，而贝叶斯最优性依赖于可能难以证明的先验；决策理论阐明了权衡，但并未强制选择单一方案。

什么是损失函数？: 它量化了当特定参数值为真时采取特定行动的成本；常见的选择是用于估计的平方误差和用于分类的零一损失，而风险是其期望值。
可容许规则总是好的规则吗？: 不一定。可容许性仅意味着没有其他规则在任何地方都优于它；有些可容许规则总体上很差，有些优秀的规则是不可容许的，因此可容许性是最低限度的美德而非充分的美德。