マルコフ連鎖の分類と再帰性

マルコフ連鎖の状態を分類することで、どの状態が無限に頻繁に訪問され、どの状態が最終的に放棄されるかが明らかになり、状態空間は共通の長期的挙動を持つ通信クラスに分割されます。

Definition

状態分類は、互いに到達可能な状態を通信クラスにグループ化し、連鎖が確率1でその状態に戻る場合は再帰的、二度と戻らない正の確率がある場合は一時的として各状態にラベルを付けることで、マルコフ連鎖を分析します。

Scope

このトピックでは、到達可能性と通信関係、状態空間の通信クラスへの分解、既約性、再帰性-一時性の二分法とその基準、正再帰性とヌル再帰性、周期性、およびこれらの特性を決定するための初回通過確率と到達確率の使用について扱います。

Core questions

• 2つの状態が通信するのはどのような場合で、これは状態空間をどのように分割しますか？
• 再帰状態と一時状態を区別するものは何ですか？
• 正再帰性はヌル再帰性とどのように区別されますか？
• 周期性は連鎖の長期的挙動においてどのような役割を果たしますか？

Key theories

再帰性-一時性の二分法

状態が再帰的であるのは、期待される復帰回数が無限である場合、言い換えれば、その復帰確率の合計が発散する場合に限られます。再帰性と一時性は、通信するすべての状態が共有するクラス特性です。

正再帰性とヌル再帰性

再帰状態は、期待される復帰時間が有限である場合に正再帰的であり、無限である場合にヌル再帰的です。正再帰性は、定常確率分布の存在に必要です。

Clinical relevance

再帰性を決定することは、ランダムウォークがその原点に戻るかどうか、待ち行列が無限に頻繁に空になるかどうか、および個体群プロセスが持続するか吸収されるかを解決します。単純対称ランダムウォークが1次元および2次元では再帰的であるが、3次元以上では一時的であるというポリアの古典的な結果は、典型的な帰結です。

History

再帰性の問題は、ポリアによる1921年の整数格子上のランダムウォークの分析によって明確化され、再帰性と一時性に関する系統的なクラスベースの理論は、20世紀半ばにチャン、フェラーらによって現代の教科書に見られる形に発展しました。

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

状態が再帰的であるとはどういう意味ですか？

その状態から開始して、連鎖は確率1でその状態に戻り、したがって無限に頻繁に戻ります。一時状態とは、連鎖が正の確率で永久に離れる可能性がある状態です。

ランダムウォークの再帰性にとって次元が重要なのはなぜですか？

単純対称ランダムウォークは1次元および2次元では再帰的ですが、3次元以上では一時的です。これは、原点に戻る確率が、ウォークがどれだけ速く脱出できるかに依存し、脱出の可能性は次元とともに増加するためです。