Chaînes de Markov à temps continu
Une chaîne de Markov à temps continu se déplace entre un ensemble discret d'états à des instants aléatoires, demeurant dans chaque état pendant une durée distribuée exponentiellement avant de sauter selon des taux de transition fixes.
Definition
Une chaîne de Markov à temps continu est un processus stochastique sur un espace d'états dénombrable indexé par le temps continu, dont l'avenir, étant donné le présent, est indépendant du passé. Elle est caractérisée par une matrice génératrice de taux de transition telle que les temps de séjour sont exponentiels et les sauts suivent une chaîne intégrée.
Scope
Ce domaine couvre la description par les temps de séjour et la chaîne de sauts, le générateur infinitésimal et les taux de transition, les équations différentielles de Kolmogorov directes et rétrogrades, les distributions stationnaires et la réversibilité, les processus de naissance et de mort, ainsi que la construction de chaînes à partir de leurs chaînes de sauts discrètes intégrées.
Sub-topics
Core questions
- Comment les temps de séjour exponentiels et les probabilités de saut définissent-ils une chaîne à temps continu ?
- Qu'est-ce que la matrice génératrice et comment encode-t-elle les taux de transition ?
- Comment les équations de Kolmogorov directes et rétrogrades décrivent-elles l'évolution des probabilités de transition ?
- Quand une chaîne à temps continu possède-t-elle une distribution stationnaire ?
Key theories
- Le générateur et les équations de Kolmogorov
- Le générateur infinitésimal regroupe les taux de transition instantanés, et la matrice des probabilités de transition résout les équations différentielles de Kolmogorov directes et rétrogrades, donnant l'évolution temporelle comme une exponentielle matricielle du générateur.
- Construction par chaîne de sauts et temps de séjour
- Une chaîne à temps continu est construite à partir d'une chaîne de sauts discrète intégrée qui choisit les états successifs et des temps de séjour exponentiels indépendants dont les taux dépendent de l'état actuel, séparant ainsi la destination de la chaîne de l'instant de son mouvement.
Clinical relevance
Les chaînes de Markov à temps continu modélisent les systèmes de files d'attente, les réseaux de réactions chimiques, la dynamique des populations, la propagation des épidémies et la fiabilité des systèmes multi-composants, offrant des descriptions à temps continu traitables dont le comportement à l'équilibre et transitoire peut être calculé à partir du générateur.
History
L'article de Kolmogorov de 1931 sur les méthodes analytiques en probabilité a introduit les équations différentielles régissant les probabilités de transition, et les travaux de Feller dans les années 1930 et 1940 ont clarifié la construction et le comportement d'explosion des chaînes à temps continu, établissant ainsi la théorie basée sur le générateur utilisée aujourd'hui.
Key figures
- Andrey Kolmogorov
- William Feller
- Alfred Lotka
Related topics
Seminal works
- norris1997
Frequently asked questions
- En quoi une chaîne de Markov à temps continu diffère-t-elle d'une chaîne à temps discret ?
- Les transitions se produisent à des instants continus aléatoires plutôt qu'à des pas fixes ; la chaîne demeure dans chaque état pendant un temps exponentiel puis saute, avec une dynamique régie par des taux de transition plutôt que par une matrice de probabilités de transition en un pas.
- Qu'est-ce que le générateur infinitésimal ?
- C'est la matrice des taux de transition dont les entrées hors diagonale donnent le taux de saut entre les états et dont les sommes des lignes sont nulles ; les probabilités de transition au cours du temps sont l'exponentielle matricielle du générateur multipliée par le temps écoulé.