Distribuciones estacionarias y ergodicidad

Una distribución estacionaria es una distribución de probabilidad sobre estados que una cadena de Markov deja inalterada, y bajo condiciones leves la cadena olvida su punto de partida y converge a este equilibrio, con promedios de tiempo que coinciden con promedios espaciales.

Definition

Una distribución estacionaria de una cadena de Markov es una distribución de probabilidad sobre los estados que es invariante bajo un paso de la cadena, y una cadena es ergódica cuando, desde cualquier estado inicial, su distribución converge a esta distribución estacionaria y sus promedios de tiempo convergen a expectativas estacionarias.

Scope

El tema abarca las distribuciones estacionarias e invariantes y su existencia y unicidad para cadenas irreducibles positivamente recurrentes, el papel de la aperiodicidad en la convergencia, el balance detallado y la reversibilidad, el teorema ergódico de la cadena de Markov que iguala los promedios de tiempo a largo plazo con las expectativas estacionarias, la tasa de convergencia al equilibrio y los tiempos de mezcla, y el uso de estas ideas en el método de Monte Carlo de cadena de Markov.

Core questions

• ¿Cuándo posee una cadena de Markov una distribución estacionaria única?
• ¿Bajo qué condiciones la distribución de la cadena converge a esa distribución estacionaria?
• ¿Qué es el balance detallado y cómo simplifica la reversibilidad la búsqueda de la distribución estacionaria?
• ¿Cómo se relacionan los promedios de tiempo a largo plazo con los promedios bajo la distribución estacionaria?

Key concepts

• distribución estacionaria
• irreducibilidad y aperiodicidad
• balance detallado
• teorema ergódico
• tiempo de mezcla

Key theories

Existencia, unicidad y convergencia a la estacionariedad

Una cadena de Markov irreducible positivamente recurrente tiene una distribución estacionaria única dada por los recíprocos de los tiempos medios de retorno, y si también es aperiódica, la distribución del estado converge a ella desde cada punto de partida.

Teorema ergódico de la cadena de Markov

Para una cadena irreducible positivamente recurrente, el promedio a largo plazo de una función del estado converge casi con seguridad a su expectativa bajo la distribución estacionaria, el análogo de la ley de los grandes números para datos de Markov dependientes.

Balance detallado y reversibilidad

Si una distribución satisface el balance detallado con las probabilidades de transición, lo que significa que el flujo entre dos estados cualesquiera se equilibra en ambas direcciones, entonces es estacionaria y la cadena es reversible, una condición explotada para diseñar muestreadores de Monte Carlo de cadena de Markov.

Clinical relevance

Estos resultados son el motor teórico del método de Monte Carlo de cadena de Markov, donde una cadena se diseña para tener una distribución objetivo como su ley estacionaria de modo que sus muestras aproximen esa distribución; los límites del tiempo de mezcla indican a los profesionales cuánto tiempo deben ejecutar tales simulaciones, y la misma teoría rige las longitudes de cola de equilibrio y la fiabilidad en estado estacionario.

History

La teoría del equilibrio de las cadenas de Markov surgió del trabajo original de Markov y fue presentada en su forma moderna por Doob, Feller y otros. Su importancia aplicada aumentó con el algoritmo de Metropolis de 1953 y la generalización de Hastings de 1970, que convirtieron la convergencia a una distribución estacionaria en un método práctico de computación.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

¿Toda cadena de Markov converge a una distribución estacionaria?

No; la convergencia requiere condiciones como la irreducibilidad, la recurrencia positiva y la aperiodicidad. Una cadena periódica puede ciclar sin establecerse, y una cadena transitoria o nula-recurrente puede no tener ninguna distribución estacionaria.

¿Por qué es útil la reversibilidad en la práctica?

La reversibilidad a través del balance detallado proporciona una ecuación simple que una distribución estacionaria candidata debe satisfacer, lo que facilita tanto la verificación de la distribución estacionaria como proporciona el principio de diseño detrás de Metropolis-Hastings y muchos otros algoritmos de Monte Carlo de cadena de Markov.