弱情報事前分布と正則化事前分布

弱情報事前分布は、妥当な範囲のパラメータ値を排除し、強い実質的な信念を課すことなく推定を安定させるために、意図的に穏やかで適切な事前分布です。

Definition

弱情報事前分布は、妥当なパラメータ値のスケール上で広範囲にわたるように選択された適切な事前分布であり、事後分布を正則化し計算を改善するのに十分な情報を提供しつつ、その範囲内の特定の値についてはコミットしないものです。

Scope

このトピックでは、一様事前分布に対する弱情報事前分布の根拠、それらの正則化効果と収縮効果、回帰係数と尺度パラメータのデフォルト選択、およびホースシューやベイズLassoなどのスパース性誘導事前分布について説明します。

Core questions

• なぜ実用上、弱情報事前分布が一様事前分布や不適切事前分布よりも好まれるのでしょうか？
• 事前分布はどのように推定値を正則化し、妥当な値へと収縮させるのでしょうか？
• 回帰係数と分散パラメータにはどのようなデフォルト事前分布が推奨されますか？
• ホースシューのようなスパース性事前分布は、多くの潜在的にゼロである係数をどのように扱いますか？

Key concepts

• 弱情報事前分布
• 正則化
• 収縮
• ホースシュー事前分布
• ベイズLasso
• 尺度事前分布
• 分離

Key theories

事前分布による正則化

有限の尺度を持つ事前分布は、極端な推定値にペナルティを課し、分散を減らし、分離問題を防止します。多くのペナルティ付き尤度推定量は、特定の事前分布の下での事後モードに対応します。

グローバル・ローカル収縮

ホースシューのようなスパース性事前分布は、裾の重いローカル尺度とグローバル尺度を使用することで、小さな係数を強く収縮させ、大きなシグナルは収縮を免れるようにします。

Clinical relevance

正則化事前分布は、ゲノミクスやバイオマーカー選択のような高次元でスパースな問題における推定を安定させ、データがパラメータを弱くしか識別しない場合に発散する推定を防ぎます。

History

2000年代にベイズ計算が一般的になるにつれて、関心は一様な「非情報的」事前分布から、推論とサンプリングの両方を改善する弱情報的なデフォルトへと移行しました。ベイズLassoや2010年のホースシュー推定量を含むスパース性事前分布は、この考え方を高次元回帰に拡張しました。

Debates

デフォルトの事前分布はどの程度「弱い」べきか？

弱情報事前分布の尺度をどのように設定すれば、関連するスケールで意図しないバイアスを生じさせることなく、有用に正則化できるかについて、継続的な議論があります。

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

弱情報事前分布は非情報事前分布とどう違うのですか？

非情報事前分布は可能な限り少ない情報を加えようとし、不適切である場合がありますが、弱情報事前分布は適切であり、妥当でない値を排除し分析を安定させるために意図的に穏やかな情報を加えます。