Chaînes de Markov à temps continu

Une chaîne de Markov à temps continu demeure dans chaque état pendant une durée exponentielle, puis passe à un autre état. Sa dynamique est régie par une matrice génératrice de taux de transition plutôt que par une matrice de transition en une seule étape.

Definition

Une chaîne de Markov à temps continu est un processus de Markov sur un espace d'états dénombrable qui demeure dans chaque état pendant une durée distribuée exponentiellement, puis effectue des sauts selon des probabilités fixes, les taux de maintien et les probabilités de saut étant résumés dans une matrice génératrice.

Scope

Le sujet aborde la construction par sauts et maintien avec des temps de maintien exponentiels et une chaîne de sauts imbriquée, la matrice génératrice ou matrice Q des taux de transition, les équations différentielles de Kolmogorov directes et rétrogrades pour les probabilités de transition, la solution matricielle exponentielle, l'explosion et la régularité, les processus de naissance et de mort, ainsi que le comportement à long terme régi par les distributions stationnaires.

Core questions

• Comment une chaîne à temps continu est-elle construite à partir de temps de maintien exponentiels et de probabilités de saut ?
• Qu'est-ce que la matrice génératrice, et comment détermine-t-elle les probabilités de transition ?
• Comment les équations de Kolmogorov directes et rétrogrades décrivent-elles l'évolution dans le temps ?
• Quand la chaîne peut-elle effectuer une infinité de sauts en temps fini, et comment cela est-il exclu ?

Key concepts

• matrice génératrice
• temps de maintien exponentiels
• chaîne de sauts imbriquée
• équations de Kolmogorov directes et rétrogrades
• processus de naissance et de mort

Key theories

Générateur et les équations de Kolmogorov

Les entrées hors diagonale du générateur donnent les taux de saut et la diagonale les taux de sortie totaux ; la matrice des probabilités de transition résout les équations différentielles directes et rétrogrades pilotées par le générateur, avec l'exponentielle matricielle du générateur comme solution formelle.

Construction par chaîne de sauts et temps de maintien

Une chaîne à temps continu peut être réalisée par une chaîne de sauts à temps discret imbriquée, associée à des temps de maintien exponentiels dépendant de l'état, ce qui sépare la destination du processus de la durée d'attente et simplifie la simulation et l'analyse.

Clinical relevance

Les chaînes de Markov à temps continu modélisent les réseaux de files d'attente et de télécommunications, la cinétique des canaux ioniques et des réseaux de réactions chimiques, les modèles de population et d'épidémies en temps continu, ainsi que les modèles de migration de notation du risque de crédit ; leur formulation génératrice se connecte directement aux équations différentielles utilisées pour calculer le comportement transitoire et à l'équilibre.

History

Kolmogorov a dérivé les équations différentielles directes et rétrogrades pour les probabilités de transition à temps continu en 1931, et Feller a analysé leurs solutions, l'explosion et le comportement aux limites, établissant ainsi la théorie basée sur le générateur qui sous-tend les traitements modernes des processus de Markov à sauts.

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

En quoi une chaîne de Markov à temps continu diffère-t-elle d'une chaîne à temps discret ?

Une chaîne à temps discret progresse par étapes entières fixes, tandis qu'une chaîne à temps continu demeure dans chaque état pendant une durée exponentielle aléatoire avant de sauter. Ainsi, sa dynamique est décrite par des taux de transition dans un générateur plutôt que par des probabilités de transition en une seule étape.

Qu'est-ce que l'explosion dans ce contexte ?

L'explosion est la possibilité que la chaîne effectue une infinité de sauts dans un intervalle de temps fini, ce qui peut se produire lorsque les taux de maintien augmentent sans limite ; une chaîne est dite régulière ou non explosive lorsque cette probabilité est nulle.