経験ベイズ法

経験ベイズ法は、事前分布をデータ自体から推定することで、計算コストを抑えつつ、階層モデルの多くの利点を提供します。

Definition

経験ベイズ法は、階層的推論へのアプローチであり、事前分布のパラメータが観測データから推定され、典型的には周辺尤度を最大化することによって行われます。その後、これらのパラメータは、グループレベルの量の事後分布を計算する際に既知のものとして扱われます。

Scope

このトピックでは、パラメトリックおよびノンパラメトリック経験ベイズ、周辺最尤法またはモーメント法による超パラメータの推定、James-Stein収縮との関連性、および経験ベイズが推定された事前分布の誤差を無視することで不確実性を過小評価する可能性があるという注意点について扱います。

Core questions

• 超パラメータはデータの周辺分布からどのように推定されますか？
• 経験ベイズ法は完全ベイズ階層モデリングとどのように関連していますか？
• なぜJames-Stein収縮推定量と関連するのですか？
• 経験ベイズ法はどのような点で不確実性を過小評価する可能性がありますか？

Key concepts

• 経験ベイズ
• 周辺最尤法
• 超パラメータ推定
• James-Stein推定量
• 収縮
• 偽発見率
• 不確実性の過小評価

Key theories

データからの事前分布の推定

経験ベイズ法は、事前分布の超パラメータをすべてのデータの周辺分布に適合させることで、超事前分布を指定することなく、どの程度プールするかを学習し、完全な階層的事後分布を近似します。

スタイン収縮との関連

James-Stein推定量は、パラメトリック経験ベイズ規則として導出することができ、データから推定された事前分布が、総誤差を減少させる収縮を生み出すことを明確に示しています。

Clinical relevance

経験ベイズ法は、ゲノミクスや画像診断における大規模な推論の基盤となっており、何千もの効果が同時に推定され、データ駆動型の事前分布が推定値を安定させ、偽発見を制御します。

History

ロビンスは1956年に経験ベイズ法を導入しました。エフロンとモリスは1970年代にこれをスタイン収縮と関連付けました。高スループットデータの台頭により、経験ベイズ法は、エフロンの2010年のモノグラフで展開されたように、大規模な同時推論の中心的な手法となりました。

Debates

推定された事前分布における不確実性の無視

経験ベイズ法は超パラメータの点推定値を代入するため、その不確実性を伝播させる完全ベイズ分析と比較して、過度に確信的な区間を生成する可能性があります。

Key figures

• Herbert Robbins
• Bradley Efron
• Carl Morris

Seminal works

• robbins1956
• efron2010

Frequently asked questions

経験ベイズ法は本当にベイズ的ですか？

これはハイブリッドな手法です。グループレベルのパラメータにはベイズの定理を使用しますが、事前分布は事前に指定するのではなくデータから推定します。これにより、完全な階層モデルを近似しつつ、通常は事前分布における不確実性を過小評価する傾向があります。