无偏估计与克拉默-劳下界
在平均意义上正确的估计量中,克拉默-劳不等式设定了方差的下限,而劳-布莱克威尔定理和莱曼-谢费定理则展示了如何达到此下限。
用 PaperMind 寻找选题即将推出Find papers & topics
Tools & resources
Learn & explore
视频即将推出
Definition
如果一个估计量的期望值对于每个参数值都等于该参数,则该估计量是无偏的;克拉默-劳下界指出,任何无偏估计量的方差至少是费雪信息的倒数。
Scope
本主题涵盖了无偏性及其局限性、单参数和多参数的费雪信息、无偏估计量方差的克拉默-劳下界、达到该下界的条件、通过对充分统计量进行条件化来改进估计量的劳-布莱克威尔定理,以及通过完全充分统计量识别唯一最小方差无偏估计量的莱曼-谢费定理。
Core questions
- 什么是费雪信息,它如何量化数据中可用的精度?
- 为什么没有无偏估计量的方差能低于克拉默-劳下界,以及何时能达到该下界?
- 劳-布莱克威尔定理如何通过对充分统计量进行条件化来减少方差?
- 莱曼-谢费定理如何通过完备性和充分性共同确定最佳无偏估计量?
Key theories
- 克拉默-劳信息不等式
- 在正则条件下,无偏估计量的方差以下界为费雪信息的倒数,将达到此下界定义为效率。
- 劳-布莱克威尔定理和莱曼-谢费定理
- 对任何无偏估计量进行充分统计量条件化,其方差绝不会增加;如果该统计量也是完备的,则结果是唯一的最小方差无偏估计量。
Clinical relevance
克拉默-劳下界和费雪信息设定了实验的基本精度极限,指导了最优实验设计和传感器校准,而最小方差无偏估计量则提供了基准估计,可用于比较实际操作程序。
History
克拉默和劳在大约1945年独立建立了方差下界。劳和布莱克威尔的条件化改进结果以及莱曼和谢费的唯一性定理紧随其后,分别在1940年代末和1950年代初提出,完善了无偏估计的经典理论。
Key figures
- Calyampudi Radhakrishna Rao
- Harald Cramer
- David Blackwell
- Henry Scheffe
Related topics
Seminal works
- lehmannCasella1998
Frequently asked questions
- 克拉默-劳下界总是可以达到吗?
- 不。它只在特殊情况下才能达到,主要是指数族;通常情况下,最小方差无偏估计量的方差可能严格高于该下界。
- 费雪信息衡量什么?
- 它衡量似然函数对参数变化的响应程度,因此也衡量数据中包含的关于参数的信息量;费雪信息越大,估计精度越高。