Cadenas de Markov Monte Carlo

Las cadenas de Markov Monte Carlo muestrean a partir de una distribución objetivo compleja simulando una cadena de Markov diseñada para tener esa distribución como su única ley estacionaria.

Definition

Las cadenas de Markov Monte Carlo son una familia de algoritmos que estiman las expectativas bajo una distribución de probabilidad objetivo ejecutando una cadena de Markov ergódica cuya distribución estacionaria es el objetivo y promediando una función a lo largo de la trayectoria de la cadena.

Scope

Este tema abarca el diseño de núcleos de transición con una distribución estacionaria prescrita, el algoritmo de Metropolis-Hastings y su regla de aceptación, el muestreador de Gibbs para actualizaciones condicionales, los diagnósticos de convergencia y el período de calentamiento (burn-in), el efecto de la autocorrelación en la varianza del estimador y el vínculo entre los tiempos de mezcla y el costo computacional del muestreo.

Core questions

• ¿Cómo se construye una cadena de Markov para que tenga una distribución estacionaria deseada?
• ¿Por qué la regla de aceptación de Metropolis-Hastings produce la ley estacionaria correcta?
• ¿Cómo explota el muestreador de Gibbs las distribuciones condicionales?
• ¿Cuánto tiempo debe ejecutarse una cadena antes de que sus muestras sean utilizables y cómo se evalúa esto?

Key theories

Construcción de Metropolis-Hastings

Proponer movimientos a partir de un núcleo arbitrario y aceptarlos con una probabilidad construida a partir de la relación de densidad objetivo produce una cadena reversible cuya distribución estacionaria es exactamente el objetivo, requiriendo solo el objetivo hasta una constante de normalización.

Promedios ergódicos y estimación Monte Carlo

Debido a que la cadena es ergódica con el objetivo como su ley estacionaria, los promedios temporales de una función a lo largo de la cadena convergen casi con seguridad a la expectativa objetivo, lo que justifica el uso de trayectorias simuladas como muestras.

Clinical relevance

Las cadenas de Markov Monte Carlo son la herramienta principal de la estadística bayesiana moderna, la física estadística y el aprendizaje automático, lo que permite la inferencia sobre distribuciones posteriores de alta dimensión, funciones de partición y paisajes energéticos que no se pueden integrar analíticamente; su fiabilidad depende de que la cadena subyacente se mezcle con la suficiente rapidez.

History

La cadena de aceptación-rechazo se originó en el algoritmo de Metropolis de 1953 para la física estadística, fue generalizada por Hastings en 1970 y fue reformulada para la estadística a través del muestreador de Gibbs de Geman y Geman en 1984 y las influyentes aplicaciones bayesianas de Gelfand y Smith alrededor de 1990, que lanzaron la revolución bayesiana computacional.

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Stuart Geman
• Donald Geman

Seminal works

• robertCasella2004
• hastings1970

Frequently asked questions

¿Por qué utilizar una cadena de Markov para extraer muestras?

Para distribuciones objetivo de alta dimensión o no normalizadas, el muestreo directo es inviable; una cadena de Markov que converge al objetivo permite generar muestras dependientes pero correctamente distribuidas después de que alcanza el equilibrio.

¿Qué es el período de calentamiento (burn-in)?

Es la porción inicial de la cadena que se descarta porque la cadena aún no ha convergido a su distribución estacionaria, por lo que esos estados iniciales sesgarían las estimaciones.