连续时间马尔可夫链

连续时间马尔可夫链在每个状态中停留指数时间，然后跳到另一个状态，其动态由转移速率的生成矩阵而非单步转移矩阵控制。

Definition

连续时间马尔可夫链是可数状态空间上的马尔可夫过程，它在每个状态中停留指数分布的时间，然后根据固定概率跳跃，其停留速率和跳跃概率总结在一个生成矩阵中。

Scope

本主题涵盖了具有指数停留时间和嵌入式跳跃链的跳跃-停留结构、转移速率的生成器或Q矩阵、转移概率的柯尔莫哥洛夫前向和后向微分方程、矩阵指数解、爆炸和正则性、生灭过程以及由平稳分布控制的长期行为。

Core questions

• 连续时间链是如何由指数停留时间和跳跃概率构建的？
• 什么是生成矩阵，它如何确定转移概率？
• 柯尔莫哥洛夫前向和后向方程如何描述时间演化？
• 链何时能在有限时间内进行无限次跳跃，以及如何排除这种情况？

Key concepts

• 生成矩阵
• 指数停留时间
• 嵌入式跳跃链
• 柯尔莫哥洛夫前向和后向方程
• 生灭过程

Key theories

生成器和柯尔莫哥洛夫方程

非对角线生成器条目给出跳跃速率，对角线给出总退出速率；转移概率矩阵求解由生成器驱动的前向和后向微分方程，其形式解为生成器的矩阵指数。

跳跃链和停留时间构建

连续时间链可以通过嵌入式离散时间跳跃链和状态相关的指数停留时间来实现，这使得过程的去向与等待时间分离，并使模拟和分析变得简单明了。

Clinical relevance

连续时间马尔可夫链可用于模拟排队和电信网络、离子通道和化学反应网络的动力学、连续时间的人口和流行病模型，以及信用风险的评级迁移模型；其生成器公式直接连接到用于计算瞬态和平衡行为的微分方程。

History

柯尔莫哥洛夫于1931年推导了连续时间转移概率的前向和后向微分方程，费勒分析了它们的解、爆炸和边界行为，建立了生成器理论，该理论是现代跳跃马尔可夫过程处理的基础。

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

连续时间马尔可夫链与离散时间马尔可夫链有何不同？

离散时间链以固定的整数步长移动，而连续时间链在每个状态中停留随机的指数时间后才跳跃，因此其动态由生成器中的转移速率而非单步转移概率来描述。

在此背景下，“爆炸”是什么意思？

爆炸是指链在有限时间间隔内进行无限次跳跃的可能性，当停留速率无限增长时可能会发生这种情况；当这种情况的概率为零时，该链被称为正则或非爆炸的。