ギブスサンプリング

ギブスサンプリングは、他のすべてのパラメータが与えられた条件の下で、各パラメータをその完全条件付き分布から順次更新することにより、事後分布を探索する手法です。

Definition

ギブスサンプリングはMCMC法の一つであり、パラメータベクトルの各成分を順に、他のすべての成分の現在の値が与えられた条件での条件付き事後分布から抽出し、その定常分布が同時事後分布となるマルコフ連鎖を生成します。

Scope

このトピックでは、ギブスサンプラーを定義する完全条件付き更新、受容確率が1であるメトロポリス・ヘイスティングス法の特殊なケースとしての位置づけ、扱いやすい条件付き分布を作成するためのデータ拡張の使用、および混合を改善するブロッキング戦略とコラプシング戦略について説明します。

Core questions

• 完全条件付き分布とは何ですか、またギブスサンプリングでどのように使用されますか？
• ギブスサンプリングがメトロポリス・ヘイスティングス法の特殊なケースであるのはなぜですか？
• データ拡張はどのようにして扱いやすい条件付き分布を作成しますか？
• ブロッキングとコラプシングはサンプラーの効率をどのように改善しますか？

Key concepts

• 完全条件付き分布
• データ拡張
• ブロッキング
• コラプシング
• 潜在変数
• 成分ごとの更新

Key theories

完全条件付き更新

各パラメータをその完全条件付き分布からサンプリングすることは、同時事後分布を不変に保ちます。条件付き分布が共役である場合、更新は閉形式であり、受容は自動的に行われます。

データ拡張

潜在変数を導入することで、他の方法では扱いにくい条件付き分布を標準的なものにすることができ、混合モデルやプロビットモデルのような困難な問題を、簡単なギブス更新へと変えることができます。

Clinical relevance

ギブスサンプリングは、階層モデルや潜在変数モデルを日常的に使用可能にし、生物統計学や社会科学における応用ベイズモデリングのためのBUGSやJAGSといった広く使用されているソフトウェアの基盤となっています。

History

ギブスサンプラーは、1984年にGemanとGemanによって画像復元のために導入され、統計物理学におけるギブス分布にちなんで命名されました。GelfandとSmithによる1990年の論文は、ベイズ推論へのその幅広い適用可能性を示し、広範な採用を促しました。

Debates

強い依存関係下での混合の遅さ

パラメータが強く相関している場合、成分ごとのギブス更新は混合が不十分になる可能性があり、再パラメータ化、ブロッキング、または勾配ベースの代替手法が検討されます。

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

ギブスサンプリングはどのような場合に良い選択肢となりますか？

ギブスサンプリングは、多くの階層モデルや潜在変数モデルのように、共役またはその他の標準的な完全条件付き分布を持つモデルに適していますが、パラメータが強く相関している場合には混合が遅くなる可能性があります。