ベイズ推定と収縮推定

ベイズ推定量は、事前信念とデータを融合して平均リスクを最小化する。一方、収縮推定量は、推定値を中央に引き寄せることで、自明な推定量よりも優れた結果が得られるという驚くべき事実を利用する。

Definition

ベイズ推定量は、パラメーターに関する事前分布で平均化された期待損失を最小化する。収縮推定量は、全体的な平均二乗誤差を減らすために、意図的に推定値を固定点または共通平均に偏らせる。

Scope

このトピックでは、事前分布と事後分布、二乗誤差損失関数およびその他の損失関数における事後平均としてのベイズ推定量、ベイズリスクと頻度論的リスクの関係、ジェームズ-スタイン推定量と3次元以上における非許容性のスタインのパラドックス、経験ベイズと階層的収縮、および収縮が有利となるバイアス-バリアンスのトレードオフについて扱う。

Core questions

• 与えられた損失関数のもとで、ベイズ推定量は事後分布からどのように導出されるか？
• ジェームズ-スタイン推定量は、なぜ3次元以上で標本平均を支配するのか？
• 経験ベイズは、関連する推定問題間でどのように情報を共有するのか？
• 収縮によって導入されるバイアスは、いつリスクの低減という形で報われるのか？

Key theories

ベイズ推定量と事後期待値

二乗誤差損失のもとでは、ベイズ推定量は事後平均である。他の損失の場合には、対応する事後要約統計量であり、事前分布で平均化されたベイズリスクを最小化する。

スタインのパラドックスとジェームズ-スタイン推定量

3つ以上の平均を同時に推定する場合、二乗誤差損失のもとでは標本平均は非許容であり、共通の点に収縮させるジェームズ-スタイン推定量は、一様に小さいリスクを持つ。

Clinical relevance

収縮推定量と経験ベイズ推定量は、小地域推定、スポーツや教育のランキング、ゲノミクス、リッジ回帰や正則化回帰のように、多くの関連する量を一度に推定する場合に精度を向上させる。これらの場合、各単位を個別に扱うよりも、単位間で情報をプールする方が優れている。

History

スタインは1956年に、多変量正規平均の通常の推定量が3次元以上で非許容であることを示し、ジェームズとスタインは1961年に、それを支配する推定量を示した。エフロンとモリスは1970年代に、経験ベイズを通じてこの結果を再構築し、収縮を実用的なツールとした。

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

なぜバイアスのある推定量が好まれることがあるのか？

平均二乗誤差はバイアスとバリアンスを組み合わせたものであるため、バリアンスを大幅に削減できるわずかなバイアスは、総誤差を低減することができる。これは収縮推定量がまさに利用している点である。

スタインのパラドックスは本当にパラドックスなのか？

それは矛盾というよりも驚くべき事実である。いくつかの無関係な平均を推定する場合でも、それらを共同で収縮させることで改善されることを示している。なぜなら、個々の推定値ではなく、結合されたリスクが低減されるからである。