Cadenas de Markov en Tiempo Continuo

Una cadena de Markov en tiempo continuo mantiene cada estado por un tiempo exponencial y luego salta a otro, sus dinámicas gobernadas por una matriz generadora de tasas de transición en lugar de una matriz de transición de un solo paso.

Definition

Una cadena de Markov en tiempo continuo es un proceso de Markov en un espacio de estados contable que permanece en cada estado por un tiempo distribuido exponencialmente y luego salta de acuerdo con probabilidades fijas, con las tasas de retención y las probabilidades de salto resumidas en una matriz generadora.

Scope

El tema cubre la construcción de salto y retención con tiempos de retención exponenciales y una cadena de salto incrustada, el generador o matriz Q de tasas de transición, las ecuaciones diferenciales de Kolmogorov hacia adelante y hacia atrás para las probabilidades de transición, la solución matricial-exponencial, la explosión y regularidad, los procesos de nacimiento y muerte, y el comportamiento a largo plazo gobernado por distribuciones estacionarias.

Core questions

• ¿Cómo se construye una cadena de tiempo continuo a partir de tiempos de retención exponenciales y probabilidades de salto?
• ¿Qué es la matriz generadora y cómo determina las probabilidades de transición?
• ¿Cómo describen las ecuaciones de Kolmogorov hacia adelante y hacia atrás la evolución en el tiempo?
• ¿Cuándo puede la cadena realizar infinitos saltos en un tiempo finito y cómo se excluye esto?

Key concepts

• matriz generadora
• tiempos de retención exponenciales
• cadena de salto incrustada
• ecuaciones de Kolmogorov hacia adelante y hacia atrás
• proceso de nacimiento y muerte

Key theories

Generador y las ecuaciones de Kolmogorov

Las entradas fuera de la diagonal del generador dan las tasas de salto y la diagonal las tasas de salida totales; la matriz de probabilidad de transición resuelve las ecuaciones diferenciales hacia adelante y hacia atrás impulsadas por el generador, con la exponencial matricial del generador como su solución formal.

Cadena de salto y construcción de tiempo de retención

Una cadena de tiempo continuo se puede realizar mediante una cadena de salto de tiempo discreto incrustada junto con tiempos de retención exponenciales dependientes del estado, lo que separa a dónde va el proceso de cuánto tiempo espera y facilita la simulación y el análisis.

Clinical relevance

Las cadenas de Markov en tiempo continuo modelan redes de colas y telecomunicaciones, la cinética de canales iónicos y redes de reacciones químicas, modelos de población y epidemias en tiempo continuo, y los modelos de migración de calificación de riesgo crediticio; su formulación generadora se conecta directamente con las ecuaciones diferenciales utilizadas para calcular el comportamiento transitorio y de equilibrio.

History

Kolmogorov derivó las ecuaciones diferenciales hacia adelante y hacia atrás para las probabilidades de transición en tiempo continuo en 1931, y Feller analizó sus soluciones, explosión y comportamiento de frontera, estableciendo la teoría basada en generadores que subyace a los tratamientos modernos de los procesos de Markov de salto.

Key figures

• Andrey Kolmogorov
• William Feller
• Agner Krarup Erlang

Seminal works

• norris1997

Frequently asked questions

¿En qué se diferencia una cadena de Markov en tiempo continuo de una de tiempo discreto?

Una cadena de tiempo discreto se mueve en pasos enteros fijos, mientras que una cadena de tiempo continuo permanece en cada estado por un tiempo exponencial aleatorio antes de saltar, por lo que su dinámica se describe por tasas de transición en un generador en lugar de por probabilidades de transición de un solo paso.

¿Qué es la explosión en este contexto?

La explosión es la posibilidad de que la cadena realice infinitos saltos en un intervalo de tiempo finito, lo que puede ocurrir cuando las tasas de retención crecen sin límite; una cadena se denomina regular o no explosiva cuando esto tiene probabilidad cero.