Cadenas de Markov de Tiempo Continuo
Una cadena de Markov de tiempo continuo se mueve entre un conjunto discreto de estados en momentos aleatorios, manteniendo cada estado durante una duración distribuida exponencialmente antes de saltar según tasas de transición fijas.
Definition
Una cadena de Markov de tiempo continuo es un proceso estocástico en un espacio de estados contable indexado por tiempo continuo, cuyo futuro, dado el presente, es independiente del pasado, caracterizado por una matriz generadora de tasas de transición de modo que los tiempos de permanencia son exponenciales y los saltos siguen una cadena incrustada.
Scope
Esta área cubre la descripción del tiempo de permanencia y la cadena de saltos, el generador infinitesimal y las tasas de transición, las ecuaciones diferenciales de Kolmogorov hacia adelante y hacia atrás, las distribuciones estacionarias y la reversibilidad, los procesos de nacimiento-muerte y la construcción de cadenas a partir de sus cadenas de saltos incrustadas de tiempo discreto.
Sub-topics
Core questions
- ¿Cómo definen los tiempos de permanencia exponenciales y las probabilidades de salto una cadena de tiempo continuo?
- ¿Qué es la matriz generadora y cómo codifica las tasas de transición?
- ¿Cómo describen las ecuaciones de Kolmogorov hacia adelante y hacia atrás la evolución de las probabilidades de transición?
- ¿Cuándo posee una cadena de tiempo continuo una distribución estacionaria?
Key theories
- Generador y las ecuaciones de Kolmogorov
- El generador infinitesimal recopila las tasas de transición instantáneas, y la matriz de probabilidad de transición resuelve las ecuaciones diferenciales de Kolmogorov hacia adelante y hacia atrás, dando la evolución temporal como una exponencial matricial del generador.
- Construcción de la cadena de saltos y el tiempo de permanencia
- Una cadena de tiempo continuo se construye a partir de una cadena de saltos de tiempo discreto incrustada que elige estados sucesivos y tiempos de permanencia exponenciales independientes cuyas tasas dependen del estado actual, separando dónde va la cadena de cuándo se mueve.
Clinical relevance
Las cadenas de Markov de tiempo continuo modelan sistemas de colas, redes de reacciones químicas, dinámicas de poblaciones, propagación de epidemias y la fiabilidad de sistemas multicomponente, proporcionando descripciones tratables en tiempo continuo cuyo equilibrio y comportamiento transitorio pueden calcularse a partir del generador.
History
El artículo de Kolmogorov de 1931 sobre métodos analíticos en probabilidad introdujo las ecuaciones diferenciales que rigen las probabilidades de transición, y el trabajo de Feller en las décadas de 1930 y 1940 clarificó la construcción y el comportamiento de explosión de las cadenas de tiempo continuo, estableciendo la teoría basada en el generador utilizada en la actualidad.
Key figures
- Andrey Kolmogorov
- William Feller
- Alfred Lotka
Related topics
Seminal works
- norris1997
Frequently asked questions
- ¿En qué se diferencia una cadena de Markov de tiempo continuo de una de tiempo discreto?
- Las transiciones ocurren en momentos continuos aleatorios en lugar de en pasos fijos; la cadena mantiene cada estado durante un tiempo exponencial y luego salta, con una dinámica regida por tasas de transición en lugar de una matriz de probabilidad de un solo paso.
- ¿Qué es el generador infinitesimal?
- Es la matriz de tasas de transición cuyas entradas fuera de la diagonal dan la tasa de salto entre estados y cuyas filas suman cero; las probabilidades de transición a lo largo del tiempo son la exponencial matricial del generador multiplicada por el tiempo transcurrido.