Cadenas de Markov de Tiempo Discreto

Una cadena de Markov de tiempo discreto se mueve entre un conjunto contable de estados en tiempos enteros, eligiendo su siguiente estado a partir de probabilidades que dependen solo del estado actual, codificadas de forma compacta en una matriz de transición.

Definition

Una cadena de Markov de tiempo discreto es una secuencia de estados aleatorios en un conjunto contable tal que la probabilidad del siguiente estado depende solo del estado actual, con estas probabilidades de un paso recopiladas en una matriz de transición.

Scope

El tema abarca las matrices de transición y las ecuaciones de Chapman-Kolmogorov, la propiedad fuerte de Markov, la clasificación de estados en clases comunicantes y en transitorios, nulos-recurrentes y positivos-recurrentes, la periodicidad, las probabilidades de acierto y los tiempos de acierto esperados calculados mediante análisis de primer paso, y la dicotomía de recurrencia para caminatas aleatorias en la red de enteros.

Core questions

• ¿Cómo codifica una matriz de transición la dinámica de una cadena a lo largo de muchos pasos?
• ¿Cómo se clasifican los estados por su estructura de comunicación y su recurrencia?
• ¿Cómo se calculan las probabilidades de acierto y los tiempos de acierto esperados?
• ¿Qué caminatas aleatorias regresan a su punto de partida con certeza y cuáles escapan al infinito?

Key concepts

• matriz de transición
• ecuaciones de Chapman-Kolmogorov
• clases comunicantes
• recurrencia y transitoriedad
• tiempos de acierto

Key theories

Propiedad fuerte de Markov

La propiedad de Markov sigue siendo válida en tiempos aleatorios adecuados llamados tiempos de parada, por lo que una cadena se reinicia de nuevo desde su estado en dicho tiempo, lo que es la herramienta clave para analizar retornos, excursiones y tiempos de acierto.

Dicotomía de recurrencia

Cada estado es recurrente, visitado infinitas veces con probabilidad uno, o transitorio, visitado solo un número finito de veces; para una caminata aleatoria simétrica simple, esto depende de la dimensión, con recurrencia en una y dos dimensiones y transitoriedad en tres y superiores.

Clinical relevance

Las cadenas de Markov de tiempo discreto modelan juegos de mesa, sistemas de inventario y colas, navegación web a través de la cadena PageRank, y sucesión genética y ecológica; su teoría de tiempos de acierto y recurrencia responde a preguntas prácticas sobre cuánto tiempo transcurre hasta que un sistema alcanza un estado objetivo o regresa a una condición de referencia.

History

Markov introdujo estas cadenas en 1906, aplicándolas a la secuencia de vocales y consonantes en un poema de Pushkin para demostrar que la ley de los grandes números se cumple para variables dependientes. El análisis de Polya de 1921 sobre caminatas aleatorias estableció la dicotomía de recurrencia dependiente de la dimensión que lleva su influencia.

Key figures

• Andrey Markov
• George Polya
• Joseph L. Doob

Seminal works

• norris1997

Frequently asked questions

¿Cuál es la diferencia entre un estado recurrente y uno transitorio?

Un estado recurrente es aquel al que la cadena seguramente regresará, y por lo tanto visita infinitas veces, mientras que un estado transitorio es visitado solo un número finito de veces antes de que la cadena se aleje definitivamente.

¿Por qué la caminata aleatoria simple es recurrente en dimensiones bajas pero no en las altas?

En una y dos dimensiones, la caminata regresa al origen con probabilidad uno, pero a partir de tres dimensiones hay suficiente espacio para escapar, por lo que la caminata regresa solo un número finito de veces y es transitoria; este es el resultado clásico de Polya.