什么使一个过程成为马尔可夫链？

马尔可夫性质：给定当前状态，未来的演化与链如何达到该状态无关，因此整个动力学由一步转移概率描述。

马尔可夫链何时收敛到唯一的长期分布？

当它是不可约、非周期和正常返时；此时存在一个单一的平稳分布，链将收敛于该分布，而与其起始状态无关。

离散时间马尔可夫链是随机状态序列，其演化发生在整数时间点上，且下一状态的分布仅取决于当前状态，而不取决于完整的历史。

用 PaperMind 寻找选题即将推出Find papers & topics

Tools & resources

Learn & explore

视频即将推出

离散时间马尔可夫链是一个随机过程，其状态空间是可数的，由非负整数作为索引。给定整个历史，下一状态的条件分布仅取决于当前状态，这通过一步转移概率矩阵来编码。

该领域涵盖马尔可夫性质和转移矩阵，通过连通性、常返性、瞬变性和周期性对状态进行分类，平稳分布和极限分布的存在性与唯一性，收敛性和混合速率，以及主要应用，包括马尔可夫链蒙特卡洛（Markov chain Monte Carlo）和隐马尔可夫模型（hidden Markov models）。

马尔可夫性质和查普曼-科尔莫戈罗夫方程: 给定当前状态，未来与过去条件独立，因此多步转移概率通过转移矩阵相乘得到，这使得可以从一步矩阵计算n步行为。
马尔可夫链的遍历定理: 一个不可约、非周期、正常返的马尔可夫链具有唯一的平稳分布，其边际分布收敛于该分布，并且函数的长时间平均几乎必然收敛于该分布，从而将长期频率与平稳律联系起来。

离散时间马尔可夫链可用于模拟随机游走、排队快照、群体遗传学、PageRank等排名算法以及经济状态转移；其收敛理论是马尔可夫链蒙特卡洛的基础，后者是统计学、物理学和机器学习领域中从复杂概率分布中采样的主要计算方法。

安德烈·马尔可夫（Andrey Markov）于1906年引入了具有依赖但无记忆转移的链，旨在将大数定律扩展到独立性之外，并通过普希金诗歌中的字母序列对其进行了阐释。科尔莫戈罗夫（Kolmogorov）和杜布林（Doeblin）在20世纪30年代将收敛理论建立在严格的测度论基础上。