马尔可夫链分类与遍历性

对马尔可夫链状态进行分类，可以揭示哪些状态会被无限次访问，哪些最终会被放弃，从而将状态空间划分为具有共同长期行为的连通类。

Definition

状态分类通过将可以相互到达的状态分组为连通类来分析马尔可夫链，并将每个状态标记为常返（如果链以概率一返回到该状态）或瞬态（如果存在永不返回的正概率）。

Scope

本主题涵盖可达性和连通关系、状态空间分解为连通类、不可约性、遍历性-瞬态性二分法及其判据、正常返与零返、周期性，以及使用首次通过概率和击中概率来确定这些性质。

Core questions

• 两个状态何时连通，以及这如何划分状态空间？
• 常返状态与瞬态状态有何区别？
• 正常返与零返如何区分？
• 周期性在链的长期行为中扮演什么角色？

Key theories

遍历性-瞬态性二分法

一个状态是常返的当且仅当其预期返回次数是无限的，等价于其返回概率之和发散；常返性和瞬态性是所有连通状态共享的类属性。

正常返与零返

一个常返状态在预期返回时间有限时是正常返的，在预期返回时间无限时是零返的；正常返是存在平稳概率分布的必要条件。

Clinical relevance

确定遍历性可以解决随机游走是否返回其起点、队列是否无限次清空以及种群过程是持续还是被吸收等问题；波利亚的经典结果是，简单对称随机游走在一维和二维中是常返的，但在三维或更高维度中是瞬态的，这是一个典型的推论。

History

遍历性问题在波利亚1921年对整数格点上随机游走的分析中得以明确，而系统化的基于类的遍历性和瞬态性理论则由钟开莱、费勒等人在20世纪中期发展成现代教科书中的形式。

Key figures

• George Polya
• Andrey Markov
• Kai Lai Chung

Seminal works

• norris1997

Frequently asked questions

状态是常返的意味着什么？

从该状态开始，链以概率一返回到该状态，因此会无限次返回；瞬态状态是链可能以正概率永远离开的状态。

为什么维度对随机游走遍历性很重要？

简单对称随机游走在一维和二维中是常返的，但在三维和更高维度中是瞬态的，因为返回原点的概率取决于游走逃逸的速度，而逃逸速度随维度增加而增加。