M推定と経験過程

M推定は、標本基準を最適化することによって定義される推定量群を単一のファミリーとして扱い、経験過程理論はそれらを分析するために必要な一様極限定理を提供する。

Definition

M推定量は基準関数の標本平均の最大化因子であり、Z推定量は推定関数の標本平均の根である。経験過程は、関数のクラスによってインデックス付けされた、経験分布と真の分布の間のリスケールされた差である。

Scope

このトピックでは、目的関数を最大化するM推定量と推定方程式を解くZ推定量、最尤法、最小二乗法、分位点、ロバスト推定量の統一、一様収束によるM推定量の整合性と漸近正規性、経験分布と経験過程、ガウス過程への弱収束、Glivenko-CantelliクラスとDonskerクラス、および複雑さを制御するエントロピーとブラケティング条件について扱う。

Core questions

• M推定とZ推定は、最尤法、最小二乗法、ロバスト推定量をどのように統一するのか？
• M推定量の整合性と漸近正規性を証明するために、どのような一様収束が必要か？
• 経験過程はいつガウス過程に弱収束するのか、すなわち、いつクラスがDonskerクラスとなるのか？
• エントロピーとブラケティング条件は、関数クラスの複雑さをどのように制御するのか？

Key theories

M推定とZ推定

標本平均を最適化するかゼロに設定することによって定義される推定量は、共通の漸近解析を共有する。一様大数の法則は整合性を与え、線形化はサンドイッチ分散を持つ漸近正規性を与える。

経験過程の弱収束

Donskerクラスの関数において、経験過程はガウス過程に弱収束する。これは、単一の統計量から関数クラス全体への中心極限定理を一般化し、現代の漸近理論の基礎となっている。

Clinical relevance

M推定は、モデルが誤って特定されている可能性がある場合に使用されるサンドイッチ標準誤差、またはロバスト標準誤差を提供する。また、経験過程理論は、統計的学習における一般化限界の背後にある理論的保証を提供し、古典的な統計学と機械学習を結びつける。

History

Huberは1964年にロバスト統計学のためにM推定を導入した。Dudley、Pollardらによって1970年代から1980年代にかけて進められ、van der VaartとWellnerの1996年のモノグラフで統合された経験過程プログラムは、現在漸近理論の標準となっている一様極限定理を提供した。

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

M推定量とZ推定量の違いは何ですか？

M推定量は標本目的関数を最大化するのに対し、Z推定量は推定方程式のシステムを解く。目的関数が微分可能である場合、最大化因子は勾配の根であるため、両者は一致する。

経験過程理論は機械学習にとってなぜ重要ですか？

関数クラス上の一様極限定理は、すべての候補モデルにおいて経験誤差が真の誤差からどの程度逸脱しうるかを制限する。これは、一般化保証がまさに必要とするものである。