離散時間マルコフ連鎖

離散時間マルコフ連鎖は、整数時間で進化するランダムな状態のシーケンスであり、次の状態の分布が現在の状態にのみ依存し、過去の履歴全体には依存しないという特性を持ちます。

Definition

離散時間マルコフ連鎖は、非負の整数によってインデックス付けされた可算状態空間上の確率過程であり、その条件付き分布は、履歴全体が与えられた場合の次の状態が現在の状態にのみ依存し、1ステップ遷移確率行列によって符号化されます。

Scope

この分野は、マルコフ性および遷移行列、通信、再帰性、一時性、周期性による状態の分類、定常分布および極限分布の存在と一意性、収束および混合率、ならびにマルコフ連鎖モンテカルロ法や隠れマルコフモデルを含む主要な応用を扱います。

Sub-topics

• Hidden Markov Models
• Markov Chain Classification and Recurrence
• Markov Chain Monte Carlo
• Stationary Distributions and Convergence

Core questions

• マルコフ性とは何を意味し、どのように遷移行列によって捉えられますか？
• 状態はどのようにして再帰的、一時的、周期的なクラスに分類されますか？
• 連鎖はいつ一意の定常分布を持ち、それに収束しますか？
• 連鎖はどのくらいの速さで平衡に近づき、これはシミュレーションでどのように利用されますか？

Key theories

マルコフ性およびチャップマン-コルモゴロフ方程式

現在が与えられた場合、未来は過去から条件付きで独立しているため、多段階遷移確率は遷移行列を乗算することによって得られ、これによりn段階の挙動が1段階行列から計算可能になります。

マルコフ連鎖のエルゴード定理

既約で非周期的で正再帰的な連鎖は、一意の定常分布を持ち、周辺分布はその定常分布に収束し、関数の時間平均はほぼ確実に収束し、長期的な頻度と定常法則を結びつけます。

Clinical relevance

離散時間マルコフ連鎖は、ランダムウォーク、キューイングのスナップショット、集団遺伝学、PageRankなどのランキングアルゴリズム、および経済状態遷移をモデル化します。その収束理論は、統計学、物理学、機械学習における複雑な確率分布からのサンプリングのための主要な計算手法であるマルコフ連鎖モンテカルロ法の基礎となっています。

History

アンドレイ・マルコフは、1906年にプーシキンの詩における文字のシーケンスを用いて、独立性以外の大数の法則を拡張するために、依存性はあるが記憶のない遷移を持つ連鎖を導入しました。コルモゴロフとドゥーブリンは、1930年代に収束理論を厳密な測度論的基礎の上に置きました。

Key figures

• Andrey Markov
• Andrey Kolmogorov
• Wolfgang Doeblin

Seminal works

• norris1997

Frequently asked questions

プロセスをマルコフ連鎖にするものは何ですか？

マルコフ性です。現在の状態が与えられた場合、将来の進化は連鎖がその状態に達した経緯とは独立しており、したがって全体のダイナミクスは1ステップ遷移確率によって記述されます。

マルコフ連鎖はいつ一意の長期分布に収束しますか？

既約で非周期的で正再帰的である場合です。その場合、連鎖は開始状態に関係なく収束する単一の定常分布が存在します。