点估计

点估计研究如何通过对未知参数的最佳单一猜测来总结数据，以及如何判断一个估计量是否优于另一个估计量。

Definition

点估计是统计推断的一个分支，关注于使用观测数据产生一个单一值（称为点估计），作为未知总体参数的最佳近似。

Scope

该领域涵盖通过充分统计量和完全统计量进行数据降维，通过最大似然法和矩量法构建估计量，通过偏差、方差和均方误差评估估计量，克拉默-劳信息下界和效率概念，通过劳-布莱克威尔定理和莱曼-谢费定理获得最小方差无偏估计量，以及通过牺牲偏差来降低风险的贝叶斯估计量和收缩估计量。

Sub-topics

• bayes and shrinkage estimation
• maximum likelihood estimation
• sufficiency and completeness
• unbiased estimation and cramer rao

Core questions

• 如何在不丢失关于参数信息的情况下，将样本简化为充分统计量？
• 是什么使得一个估计量优于另一个估计量，以及偏差和方差如何在均方误差中结合？
• 无偏估计量的方差能有多低，以及何时能达到这个下界？
• 将估计量向先验或固定点收缩何时能降低其总体风险？

Key theories

充分统计量与因子分解定理

充分统计量捕获了样本中关于参数的所有信息；因子分解定理根据似然函数对数据和参数的依赖方式来识别充分性，而完全性则保证了无偏估计量的唯一性。

最大似然估计

估计使观测数据最可能出现的参数；在正则条件下，最大似然估计量是一致的、渐近正态的，并且是渐近有效的。

克拉默-劳下界与效率

任何无偏估计量的方差都受费舍尔信息倒数的下限约束；达到此下限的估计量是有效的，劳-布莱克威尔定理和莱曼-谢费定理构建了最小方差无偏估计量。

Clinical relevance

点估计量是应用定量科学的主力：最大似然法是统计模型和机器学习模型拟合的基础，收缩估计量在高维问题中改进预测，而费舍尔信息则决定了实验能够多精确地解析一个参数，为样本量和实验设计决策提供信息。

History

费舍尔在20世纪20年代引入了似然、充分性、信息和效率，奠定了现代估计理论的基础。劳和克拉默在1945年左右建立了方差下界，劳和布莱克威尔以及后来的莱曼和谢费完善了无偏估计理论，而斯坦因在1956年发现三维或更高维度中的不可容许性，开启了收缩估计量的研究。

Key figures

• Ronald A. Fisher
• Calyampudi Radhakrishna Rao
• Erich L. Lehmann
• Charles Stein

Seminal works

• lehmannCasella1998

Frequently asked questions

估计量（estimator）和估计值（estimate）有什么区别？

估计量是数据的规则或函数，在数据被观察到之前被视为随机变量；估计值是数据被观察到后，估计量所取到的特定数值。

无偏估计量总是最佳选择吗？

不一定。有偏估计量可能比最佳无偏估计量具有更小的均方误差，这就是为什么当总体准确性比零偏差更重要时，通常更倾向于使用收缩估计量和贝叶斯估计量。