Processus de saut et chaînes imbriquées

Une chaîne de Markov à temps continu peut être décomposée en une chaîne de sauts à temps discret qui enregistre la séquence des états visités et des temps de séjour exponentiels qui enregistrent la durée d'occupation de chaque état.

Definition

La chaîne imbriquée d'une chaîne de Markov à temps continu est la chaîne de Markov à temps discret des états successivement visités, laquelle, associée à des temps de séjour exponentiels indépendants dont les taux dépendent de l'état actuel, détermine entièrement le processus à temps continu.

Scope

Ce sujet aborde la chaîne de sauts imbriquée et ses probabilités de transition, les temps de séjour exponentiels avec des taux dépendant de l'état, l'équivalence entre la description par générateur et la construction saut-séjour, l'explosion et la possibilité d'un nombre infini de sauts en temps fini, ainsi que l'utilisation de l'uniformisation pour relier les chaînes à temps continu aux chaînes à temps discret.

Core questions

• Comment la chaîne de sauts imbriquée est-elle extraite d'une chaîne à temps continu ?
• Pourquoi les temps de séjour suivent-ils une distribution exponentielle, et comment leurs taux dépendent-ils de l'état ?
• Quand la chaîne à temps continu peut-elle exploser en effectuant un nombre infini de sauts en temps fini ?
• Comment l'uniformisation convertit-elle une chaîne à temps continu en une chaîne à temps discret ?

Key theories

Construction saut-séjour

Partant d'un état, la chaîne attend un temps exponentiel dont le taux est le taux de sortie total, puis saute vers un nouvel état choisi selon les probabilités de transition de la chaîne imbriquée, reconstruisant ainsi le processus complet à temps continu à partir de ces deux éléments.

Explosion et non-conservativité

Si les taux de sortie augmentent suffisamment vite le long d'une trajectoire, les temps de séjour cumulés peuvent converger et la chaîne effectue un nombre infini de sauts en temps fini, une explosion qui doit être exclue pour que le semi-groupe de transition soit honnête.

Clinical relevance

La construction saut-séjour est à la base de la simulation stochastique exacte des chaînes de Markov, y compris l'algorithme de Gillespie pour les réseaux de réactions chimiques, et l'uniformisation offre une méthode numérique stable pour le calcul des distributions transitoires dans les modèles de fiabilité et de performance.

History

Feller et Doob ont établi la représentation saut-séjour et le phénomène d'explosion dans les années 1940, clarifiant les conditions dans lesquelles une chaîne à temps continu est uniquement déterminée par ses taux ; cette construction a ensuite servi de base aux méthodes de simulation exactes telles que l'algorithme de Gillespie de 1976 pour la cinétique chimique.

Key figures

• William Feller
• Joseph Doob
• Daniel Gillespie

Seminal works

• norris1997

Frequently asked questions

Qu'est-ce que la chaîne imbriquée d'une chaîne de Markov à temps continu ?

C'est la chaîne de Markov à temps discret qui enregistre uniquement la séquence des états distincts visités par le processus, ignorant la durée de son séjour dans chacun, et elle capture la direction du processus.

Qu'est-ce que l'explosion ?

L'explosion se produit lorsqu'une chaîne à temps continu effectue un nombre infini de sauts dans un intervalle de temps fini parce que ses temps de séjour diminuent trop rapidement ; les chaînes bien définies sont construites pour l'éviter.