Procesos de Salto y Cadenas Embebidas

Una cadena de Markov de tiempo continuo se puede descomponer en una cadena de salto de tiempo discreto que registra la secuencia de estados visitados y tiempos de permanencia exponenciales que registran cuánto tiempo se ocupa cada estado.

Definition

La cadena embebida de una cadena de Markov de tiempo continuo es la cadena de Markov de tiempo discreto de estados visitados sucesivamente, que junto con tiempos de permanencia exponenciales independientes cuyas tasas dependen del estado actual, determina completamente el proceso de tiempo continuo.

Scope

Este tema cubre la cadena de salto embebida y sus probabilidades de transición, los tiempos de permanencia exponenciales con tasas dependientes del estado, la equivalencia entre la descripción del generador y la construcción de salto-permanencia, la explosión y la posibilidad de infinitos saltos en tiempo finito, y el uso de la uniformización para relacionar cadenas de tiempo continuo con cadenas de tiempo discreto.

Core questions

• ¿Cómo se extrae la cadena de salto embebida de una cadena de tiempo continuo?
• ¿Por qué los tiempos de permanencia se distribuyen exponencialmente y cómo dependen sus tasas del estado?
• ¿Cuándo puede explotar la cadena de tiempo continuo realizando infinitos saltos en tiempo finito?
• ¿Cómo convierte la uniformización una cadena de tiempo continuo en una de tiempo discreto?

Key theories

Construcción de salto-permanencia

Partiendo de un estado, la cadena espera un tiempo exponencial cuya tasa es la tasa de salida total y luego salta a un nuevo estado elegido por las probabilidades de transición de la cadena embebida, reconstruyendo el proceso completo de tiempo continuo a partir de estos dos ingredientes.

Explosión y no conservatividad

Si las tasas de salida crecen lo suficientemente rápido a lo largo de una trayectoria, los tiempos de permanencia acumulados pueden converger y la cadena realiza infinitos saltos en tiempo finito, una explosión que debe excluirse para que el semigrupo de transición sea honesto.

Clinical relevance

La construcción de salto-permanencia es la base de la simulación estocástica exacta de cadenas de Markov, incluyendo el algoritmo de Gillespie para redes de reacciones químicas, y la uniformización proporciona un método numérico estable para calcular distribuciones transitorias en modelos de fiabilidad y rendimiento.

History

Feller y Doob establecieron la representación de salto-permanencia y el fenómeno de explosión en la década de 1940, aclarando cuándo una cadena de tiempo continuo está determinada de forma única por sus tasas; la construcción posteriormente sustentó métodos de simulación exactos como el algoritmo de Gillespie de 1976 para la cinética química.

Key figures

• William Feller
• Joseph Doob
• Daniel Gillespie

Seminal works

• norris1997

Frequently asked questions

¿Qué es la cadena embebida de una cadena de Markov de tiempo continuo?

Es la cadena de Markov de tiempo discreto que registra solo la secuencia de estados distintos que visita el proceso, ignorando cuánto tiempo permanece en cada uno, y captura hacia dónde se dirige el proceso.

¿Qué es la explosión?

La explosión ocurre cuando una cadena de tiempo continuo realiza infinitos saltos dentro de un intervalo de tiempo finito porque sus tiempos de permanencia se reducen demasiado rápido; las cadenas bien comportadas se construyen para evitarla.