不偏推定とクラメール・ラオの限界

平均的に正確な推定量の中で、クラメール・ラオの不等式は分散の下限を設定し、ラオ・ブラックウェルおよびレーマン・シェッフェの定理は、その下限に到達する方法を示しています。

Definition

推定量は、その期待値がすべてのパラメータ値に対してパラメータと等しい場合、不偏であるとされます。クラメール・ラオの限界は、任意の不偏推定量の分散がフィッシャー情報量の逆数以上であると述べています。

Scope

このトピックでは、不偏性とその限界、1つおよび複数のパラメータに対するフィッシャー情報量、不偏推定量における分散のクラメール・ラオ下限、この下限を達成するための条件、十分統計量に条件付けることによる推定量の改善に関するラオ・ブラックウェル定理、および完備十分統計量を通じて一意の最小分散不偏推定量を特定するレーマン・シェッフェ定理について扱います。

Core questions

• フィッシャー情報量とは何であり、データで利用可能な精度をどのように定量化するのでしょうか？
• なぜ不偏推定量はクラメール・ラオの限界を下回る分散を持つことができないのでしょうか、また、いつその限界は達成されるのでしょうか？
• ラオ・ブラックウェル定理を通じて、十分統計量に条件付けることはどのように分散を減少させるのでしょうか？
• レーマン・シェッフェ定理を通じて、完備性と十分性がどのように組み合わさって、最良の不偏推定量を選び出すのでしょうか？

Key theories

クラメール・ラオ情報不等式

正則条件の下で、不偏推定量の分散はフィッシャー情報量の逆数によって下限が定められ、この下限の達成が効率として定義されます。

ラオ・ブラックウェルおよびレーマン・シェッフェの定理

任意の不偏推定量に十分統計量を条件付けることは、その分散を増加させることはありません。もしその統計量が完備でもあるならば、結果は一意の最小分散不偏推定量となります。

Clinical relevance

クラメール・ラオの限界とフィッシャー情報量は、実験の基本的な精度限界を設定し、最適な実験計画とセンサー校正を導きます。一方、最小分散不偏推定量は、実用的な手順と比較されるベンチマーク推定値を提供します。

History

クラメールとラオは、1945年頃に独立して分散の下限を確立しました。ラオとブラックウェルによる条件付けによる改善結果、およびレーマンとシェッフェによる一意性定理は、1940年代後半から1950年代初頭に続き、不偏推定の古典的理論を完成させました。

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

クラメール・ラオの限界は常に達成可能ですか？

いいえ。それは特別な場合、主に指数型分布族においてのみ達成されます。一般に、最小分散不偏推定量は、この限界を厳密に上回る分散を持つことがあります。

フィッシャー情報量は何を測定しますか？

それは、尤度がパラメータの変化にどれほど鋭敏に反応するか、したがってデータがパラメータについてどれだけの情報を持っているかを測定します。フィッシャー情報量が大きいほど、より精密な推定が可能になります。