定常分布とエルゴード性

定常分布とは、マルコフ連鎖が変化させない状態の確率分布であり、緩やかな条件下では、連鎖はその開始点を忘れ、この平衡状態に収束し、時間平均が空間平均と一致します。

Definition

マルコフ連鎖の定常分布とは、連鎖の1ステップの下で不変である状態の確率分布であり、連鎖がエルゴード的であるとは、任意の開始状態からその分布がこの定常分布に収束し、その時間平均が定常期待値に収束することです。

Scope

このトピックは、定常分布と不変分布、および既約な正再帰的連鎖におけるそれらの存在と一意性、収束における非周期性の役割、詳細釣り合いと可逆性、長期的な時間平均と定常期待値を等式化するマルコフ連鎖エルゴード定理、平衡への収束速度と混合時間、およびマルコフ連鎖モンテカルロにおけるこれらのアイデアの使用を扱います。

Core questions

• マルコフ連鎖はいつ一意の定常分布を持つのか？
• どのような条件下で、連鎖の分布はその定常分布に収束するのか？
• 詳細釣り合いとは何か、また可逆性はいかに定常分布の発見を単純化するのか？
• 長期的な時間平均は定常分布下の平均とどのように関連するのか？

Key concepts

• 定常分布
• 既約性と非周期性
• 詳細釣り合い
• エルゴード定理
• 混合時間

Key theories

定常性への存在、一意性、および収束

既約な正再帰的マルコフ連鎖は、平均回帰時間の逆数によって与えられる一意の定常分布を持ち、それが非周期的でもある場合、状態の分布はすべての開始点からそれに収束します。

マルコフ連鎖エルゴード定理

既約な正再帰的連鎖の場合、状態の関数の長期平均は、定常分布下の期待値にほとんど確実に収束します。これは、従属的なマルコフデータに対する大数の法則のアナログです。

詳細釣り合いと可逆性

分布が遷移確率と詳細釣り合いを満たす場合、つまり任意の2つの状態間の流れが両方向で釣り合っている場合、それは定常であり、連鎖は可逆的です。これは、マルコフ連鎖モンテカルロサンプラーを設計するために利用される条件です。

Clinical relevance

これらの結果は、マルコフ連鎖モンテカルロの理論的基盤であり、連鎖がその定常法則として目標分布を持つように設計され、そのサンプルがその分布を近似します。混合時間の境界は、実務家がそのようなシミュレーションをどのくらいの期間実行すべきかを伝え、同じ理論が平衡待ち行列長と定常状態の信頼性を支配します。

History

マルコフ連鎖の平衡理論は、マルコフの独創的な研究から発展し、ドゥーブ、フェラーなどによって現代的な形に整理されました。その応用上の重要性は、1953年のメトロポリスアルゴリズムと1970年のヘイスティングスの一般化によって急増し、定常分布への収束を実用的な計算方法に変えました。

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

すべてのマルコフ連鎖は定常分布に収束しますか？

いいえ。収束には、既約性、正再帰性、非周期性などの条件が必要です。周期的な連鎖は定着せずに循環する可能性があり、一時的またはヌル再帰的な連鎖は定常分布をまったく持たない場合があります。

可逆性は実践においてなぜ有用なのですか？

詳細釣り合いを介した可逆性は、候補となる定常分布が満たさなければならない単純な方程式を提供します。これにより、定常分布の検証が容易になり、メトロポリス・ヘイスティングスや他の多くのマルコフ連鎖モンテカルロアルゴリズムの設計原理が提供されます。