Clasificación y Recurrencia de Cadenas de Markov
La clasificación de los estados de una cadena de Markov revela qué estados se visitan infinitamente a menudo y cuáles se abandonan finalmente, dividiendo el espacio de estados en clases comunicantes con un comportamiento a largo plazo compartido.
Definition
La clasificación de estados analiza una cadena de Markov agrupando los estados que pueden alcanzarse entre sí en clases comunicantes y etiquetando cada estado como recurrente si la cadena vuelve a él con probabilidad uno o transitorio si existe una probabilidad positiva de no volver nunca.
Scope
Este tema cubre las relaciones de accesibilidad y comunicación, la descomposición del espacio de estados en clases comunicantes, la irreducibilidad, la dicotomía recurrencia-transitoriedad y sus criterios, la recurrencia positiva versus nula, la periodicidad y el uso de probabilidades de primer paso y de acierto para determinar estas propiedades.
Core questions
- ¿Cuándo se comunican dos estados y cómo esto divide el espacio de estados?
- ¿Qué distingue un estado recurrente de uno transitorio?
- ¿Cómo se separa la recurrencia positiva de la recurrencia nula?
- ¿Qué papel juega la periodicidad en el comportamiento a largo plazo de la cadena?
Key theories
- Dicotomía recurrencia-transitoriedad
- Un estado es recurrente si y solo si el número esperado de retornos es infinito, o equivalentemente la suma de sus probabilidades de retorno diverge; la recurrencia y la transitoriedad son propiedades de clase compartidas por todos los estados que se comunican.
- Recurrencia positiva versus nula
- Un estado recurrente es recurrente positivo cuando el tiempo de retorno esperado es finito y recurrente nulo cuando es infinito; la recurrencia positiva es necesaria para la existencia de una distribución de probabilidad estacionaria.
Clinical relevance
Determinar la recurrencia establece si un paseo aleatorio vuelve a su origen, si una cola se vacía infinitamente a menudo y si un proceso poblacional persiste o es absorbido; el resultado clásico de Polya de que el paseo aleatorio simétrico simple es recurrente en una y dos dimensiones pero transitorio en tres o más es una consecuencia canónica.
History
La cuestión de la recurrencia fue cristalizada por el análisis de Polya de 1921 de los paseos aleatorios en retículos enteros, y la teoría sistemática basada en clases de recurrencia y transitoriedad fue desarrollada a mediados del siglo XX por Chung, Feller y otros hasta la forma que se encuentra en los libros de texto modernos.
Key figures
- George Polya
- Andrey Markov
- Kai Lai Chung
Related topics
Seminal works
- norris1997
Frequently asked questions
- ¿Qué significa que un estado sea recurrente?
- Partiendo de ese estado, la cadena vuelve a él con probabilidad uno, y por lo tanto vuelve infinitamente a menudo; un estado transitorio es uno que la cadena puede abandonar para siempre con probabilidad positiva.
- ¿Por qué la dimensión es importante para la recurrencia del paseo aleatorio?
- El paseo aleatorio simétrico simple es recurrente en una y dos dimensiones, pero transitorio en tres o más, porque la probabilidad de volver al origen depende de la rapidez con la que el paseo puede escapar, lo que aumenta con la dimensión.