リスクと許容性

リスク関数は、あらゆるパラメーター値におけるルールの期待損失を記録します。許容性とは、他のいかなるルールも、あらゆる場所で少なくとも同等に、かつどこかでより良く機能するかどうかを問うものです。

Definition

決定ルールのリスク関数は、パラメーターの関数としての期待損失です。あるルールが非許容であるとは、他の何らかのルールがすべてのパラメーター値に対してリスクが大きくなく、かつ少なくとも1つのパラメーター値に対して厳密に小さいリスクを持つ場合を指し、そのようなルールが存在しない場合は許容であるとされます。

Scope

このトピックでは、損失関数とリスク関数、リスク優位性によるルールの部分的順序付け、許容ルールと非許容ルールの定義、中心的な例としての3次元以上における標本平均の非許容性、ベイズおよび限界ベイズの議論とスタインの恒等式を用いた許容性の証明方法、そして許容性と不偏性の関係について扱います。

Core questions

• リスク関数は、パラメーター空間全体におけるルールの性能をどのように要約しますか？
• あるルールが別のルールを支配するとはどういう意味で、それゆえにルールが非許容であるとはどういう意味ですか？
• なぜ標本平均は、二乗誤差損失のもとで3次元以上において非許容なのですか？
• ベイズおよび限界ベイズの議論は、許容性を証明するためにどのように使用されますか？

Key theories

リスク優位性と許容性

あるルールが非許容であるとは、別のルールが均一にリスクが大きくなく、かつどこかで厳密に小さいリスクを持つ場合を指します。許容ルールとは、均一に改善できないルールであり、最適性の最小要件です。

スタインの非許容性

二乗誤差損失のもとで、多変量正規平均の通常の推定量は3次元以上で非許容であり、収縮推定量によって支配されます。これはスタインの恒等式を用いて証明された結果です。

Clinical relevance

よく知られた推定量が非許容であると認識することは、高次元予測において収縮（shrinkage）と正則化（regularization）を日常的に使用することを正当化します。そこでは、推定値を共通の中心に引き寄せることで、各座標を個別に扱うよりも総リスクを確実に低減できることが証明されています。

History

ワルドは1940年代にリスクと許容性の概念を導入しました。スタインが1956年に多変量正規平均推定量が3次元以上で非許容であることを証明したことは、直感を覆し、1961年のジェームズ-スタイン推定量とともに、許容性を中心的な関心事としました。

Key figures

• Abraham Wald
• Charles Stein
• David Blackwell
• James O. Berger

Seminal works

• lehmannCasella1998

Frequently asked questions

あるルールが許容である場合、それは最良のルールですか？

いいえ。許容性とは、均一に打ち負かされることを排除するに過ぎません。多くの許容ルールは平凡であり、良いルールが非許容であることもあります。したがって、許容性は最適性のための必要条件ではありますが、十分条件からは程遠いものです。

スタインの結果において、なぜ3次元が重要なのでしょうか？

二乗誤差損失のもとでの標本平均の非許容性は、3次元以上で成立しますが、1次元または2次元では成立しません。3次元未満では、収縮は標本平均を均一に改善することはできません。