Computación bayesiana y MCMC
La computación bayesiana hace que la inferencia sea práctica al extraer muestras de distribuciones posteriores que no pueden evaluarse en forma cerrada, principalmente a través de la cadena de Markov Monte Carlo.
Definition
La computación bayesiana es el conjunto de métodos numéricos para aproximar distribuciones posteriores y las expectativas tomadas sobre ellas; la cadena de Markov Monte Carlo construye una cadena de Markov cuya distribución estacionaria es la posterior objetivo, de modo que sus muestras pueden usarse para la inferencia.
Scope
Esta área cubre los algoritmos que impulsan el análisis bayesiano moderno: el marco de Metropolis-Hastings, el muestreo de Gibbs, el Monte Carlo hamiltoniano basado en gradientes y las aproximaciones variacionales deterministas, junto con los diagnósticos de convergencia y la evaluación del error de Monte Carlo que hacen que su resultado sea confiable.
Sub-topics
Core questions
- ¿Cómo se pueden extraer muestras de una distribución posterior conocida solo hasta una constante de normalización?
- ¿Cómo construyen Metropolis-Hastings y el muestreo de Gibbs cadenas con la distribución estacionaria correcta?
- ¿Cómo permite la información del gradiente que el Monte Carlo hamiltoniano explore eficientemente distribuciones posteriores de alta dimensión?
- ¿Cuándo son preferibles las aproximaciones deterministas, como la inferencia variacional, al muestreo?
- ¿Cómo se diagnostica la convergencia de un muestreador MCMC y se cuantifica el error de Monte Carlo?
Key concepts
- Cadena de Markov Monte Carlo
- distribución estacionaria
- balance detallado
- período de calentamiento (burn-in)
- mezclado (mixing)
- tamaño de muestra efectivo
- diagnósticos de convergencia
- error estándar de Monte Carlo
Key theories
- Cadena de Markov Monte Carlo
- Al construir una cadena de Markov cuya distribución invariante es la posterior, MCMC convierte la integración intratable en el problema de simular y promediar sobre una cadena.
- Balance detallado
- La reversibilidad con respecto a la distribución objetivo es la condición suficiente estándar que garantiza que un muestreador deja la distribución posterior invariante, lo que sustenta Metropolis-Hastings y Gibbs.
- Diagnósticos de convergencia
- La inferencia práctica se basa en diagnósticos como el factor de reducción de escala potencial y el tamaño de muestra efectivo para juzgar si las cadenas han alcanzado y se han mezclado a través de la distribución estacionaria.
Clinical relevance
MCMC y la computación relacionada permiten ajustar modelos jerárquicos y no lineales realistas en toda la ciencia, desde la farmacocinética y la genética de poblaciones hasta la cosmología y la ecología, donde las distribuciones posteriores no tienen una forma analítica.
History
El algoritmo de Metropolis (1953) y la generalización de Hastings (1970) se originaron en la física; el muestreador de Gibbs de Geman y Geman (1984) y el artículo de Gelfand y Smith de 1990 llevaron estos métodos a la estadística convencional, desencadenando la revolución computacional bayesiana que continúa con el Monte Carlo hamiltoniano y los métodos variacionales.
Debates
- Muestreo versus aproximación determinista
- MCMC ofrece muestras asintóticamente exactas con un alto costo computacional, mientras que la inferencia variacional es rápida pero aproximada; el equilibrio entre precisión y escalabilidad sigue siendo una preocupación activa.
Key figures
- Nicholas Metropolis
- W. Keith Hastings
- Stuart Geman
- Donald Geman
- Radford Neal
Related topics
Seminal works
- robert2004
- brooks2011
- gelman2013
Frequently asked questions
- ¿Por qué se necesita MCMC en absoluto?
- Para la mayoría de los modelos realistas, la distribución posterior no tiene una forma cerrada y su constante de normalización es una integral intratable de alta dimensión; MCMC evita esto produciendo muestras de la distribución posterior utilizando solo su densidad no normalizada.
- ¿Cómo sé si una ejecución de MCMC ha convergido?
- La convergencia se evalúa con diagnósticos como el factor de reducción de escala potencial en múltiples cadenas, gráficos de traza y el tamaño de muestra efectivo, aunque estos pueden detectar la falta de convergencia pero nunca probar la convergencia con certeza.