ハミルトニアンモンテカルロ法

ハミルトニアンモンテカルロ法は、対数事後分布の勾配とシミュレートされた物理ダイナミクスを利用して、遠距離で高受容の移動を提案し、高次元での効率的なサンプリングを可能にします。

Definition

ハミルトニアンモンテカルロ法は、補助的な運動量変数を導入し、対数事後分布の勾配を用いてハミルトニアンダイナミクスをシミュレートして新しい状態を提案し、数値積分誤差を補正するメトロポリスステップでそれを受容するMCMC法です。

Scope

このトピックでは、運動量変数による事後分布の拡張、ハミルトニアンダイナミクスのリープフロッグ積分、離散化誤差に対するメトロポリス補正、および経路長とステップサイズの調整を自動化するNo-U-Turn Samplerについて説明します。

Core questions

• 運動量変数とハミルトニアンダイナミクスはどのように効率的な提案を生成するのでしょうか？
• リープフロッグ積分とは何ですか、またメトロポリス補正が必要なのはなぜですか？
• No-U-Turn Samplerはどのように軌道長の手動調整の必要性を排除するのでしょうか？
• HMCが高次元でランダムウォーク法よりも優れたスケーリングを示すのはなぜですか？

Key concepts

• 運動量変数
• リープフロッグ積分
• ハミルトニアンダイナミクス
• ステップサイズ
• 軌道長
• No-U-Turn Sampler
• 対数事後分布の勾配

Key theories

サンプリングのためのハミルトニアンダイナミクス

ガウス運動量でターゲットを拡張し、体積保存的でエネルギー保存的なダイナミクスに従うことで、サンプラーは高い受容率と連続する状態間の低い相関で事後分布を横断することができます。

No-U-Turn Sampler

NUTSは、経路が折り返し始めるまで延長することで軌道長を自動的に選択し、これをステップサイズ適応と組み合わせて、ほとんどの手動調整を不要にします。

Clinical relevance

ハミルトニアンモンテカルロ法、特にNUTSを介したものは、StanやPyMCなどの確率的プログラミングシステムにおけるデフォルトのサンプラーであり、薬物動態学、生態学、物理科学における複雑な階層モデルの適合を可能にしています。

History

ハイブリッドモンテカルロ法は、1987年にDuaneらが格子量子色力学のために導入しました。Nealが統計学に応用して普及させ、HoffmanとGelmanによる2014年のNo-U-Turn Samplerが一般ユーザーにとって実用的なものにし、現代の確率的プログラミングの基礎を築きました。

Debates

幾何学とチューニングへの感度

HMCは、強く湾曲した、または多峰性の事後分布に苦戦する可能性があり、勾配情報を必要とするため、リーマン多様体や適応型バリアントに関する研究が促されています。

Key figures

• Radford Neal
• Simon Duane
• Matthew Hoffman
• Andrew Gelman
• Michael Betancourt

Seminal works

• neal2011
• hoffman2014

Frequently asked questions

HMCがランダムウォークメトロポリス法よりも高速なのはなぜですか？

HMCは、勾配情報を使用して事後分布の等高線に沿った長い軌道を提案することで、高い受容率でほぼ独立したサンプルを生成し、高次元でのランダムウォーク法の遅い拡散的探索を回避します。

HMCはより単純なサンプラーにはない何を必要としますか？

連続パラメータに関する対数事後分布の勾配を必要とします。そのため、通常は自動微分と組み合わせて使用され、離散パラメータを直接扱うことはできません。