Cadenas de Markov de Monte Carlo

Las cadenas de Markov de Monte Carlo muestrean a partir de una distribución objetivo compleja simulando una cadena de Markov diseñada para tener esa distribución como su ley estacionaria, de modo que la trayectoria de la cadena, una vez convergida, se comporta como una muestra dependiente del objetivo.

Definition

Las cadenas de Markov de Monte Carlo son una clase de algoritmos que estiman las expectativas bajo una distribución objetivo mediante la construcción de una cadena de Markov ergódica cuya distribución invariante es el objetivo y promediando una función sobre los estados realizados de la cadena.

Scope

Este tema abarca la construcción de cadenas con una distribución estacionaria prescrita mediante el balance detallado, el algoritmo de Metropolis-Hastings y sus mecanismos de propuesta, los diagnósticos de convergencia y mezcla, el período de calentamiento (burn-in) y la autocorrelación, y la estimación de los errores estándar de Monte Carlo a partir de extracciones dependientes. El muestreador de Gibbs se trata como un tema hermano distinto, y las variantes hamiltonianas y adaptativas se señalan como extensiones.

Core questions

• ¿Cómo se construye una cadena de Markov para que su distribución estacionaria sea un objetivo prescrito?
• ¿Cómo la etapa de aceptación-rechazo de Metropolis-Hastings impone un balance detallado para una propuesta arbitraria?
• ¿Cómo se evalúa la convergencia a la estacionariedad y cómo se diagnostica la velocidad de mezcla?
• ¿Cómo se calculan los errores estándar de Monte Carlo a partir de extracciones autocorrelacionadas?

Key concepts

• Distribución estacionaria
• Balance detallado
• Razón de aceptación
• Período de calentamiento (Burn-in)
• Autocorrelación y mezcla
• Diagnósticos de convergencia

Key theories

Balance detallado y estacionariedad

Si un núcleo de transición satisface el balance detallado con respecto a una distribución objetivo, esa distribución es estacionaria; los promedios ergódicos de la cadena resultante convergen entonces a las expectativas bajo el objetivo.

Algoritmo de Metropolis-Hastings

Proponer un movimiento y aceptarlo con una probabilidad construida a partir de las densidades objetivo y de propuesta produce una cadena reversible con respecto al objetivo, requiriendo el objetivo solo hasta una constante de normalización.

Clinical relevance

Las cadenas de Markov de Monte Carlo hicieron que la inferencia bayesiana completa fuera práctica para modelos jerárquicos y de alta dimensión, y se aplican en genética estadística, ecología, epidemiología, econometría y ciencias físicas dondequiera que las distribuciones posteriores o de Boltzmann deban explorarse pero no puedan muestrearse directamente.

History

El algoritmo de Metropolis apareció en 1953 en física estadística, Hastings lo generalizó en 1970, y principios de la década de 1990 vio a los estadísticos adoptar las cadenas de Markov de Monte Carlo como el motor estándar de la computación bayesiana, extendido posteriormente por Monte Carlo hamiltoniano y muestreadores adaptativos.

Debates

Evaluación de la convergencia

Debido a que ninguna ejecución finita puede probar que una cadena ha alcanzado su distribución estacionaria, los profesionales confían en diagnósticos y múltiples cadenas; existe una discusión continua sobre qué diagnósticos son fiables y cuán conservadores deben ser el período de calentamiento y la duración de la ejecución.

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Christian P. Robert
• Andrew Gelman

Seminal works

• metropolis1953
• hastings1970

Frequently asked questions

¿Por qué las muestras de las cadenas de Markov de Monte Carlo están correlacionadas?

Cada estado se genera a partir del anterior, por lo que las extracciones consecutivas son dependientes. Esta autocorrelación reduce la cantidad efectiva de información, razón por la cual la velocidad de mezcla y el tamaño de muestra efectivo son importantes al estimar la precisión.

¿Qué es el período de calentamiento (burn-in)?

El período de calentamiento es la porción inicial de la cadena que se descarta porque todavía refleja el punto de partida arbitrario en lugar de la distribución objetivo. Descartarlo reduce el sesgo de la inicialización antes de promediar las extracciones restantes.