Muestreo de Gibbs (Computación Estadística)
El muestreo de Gibbs es un método de Monte Carlo de cadena de Markov que muestrea una distribución multivariada ciclando a través de sus variables y extrayendo cada una de ellas de su distribución condicional completa dadas los valores actuales de las otras.
Definition
El muestreo de Gibbs es un algoritmo de Monte Carlo de cadena de Markov que genera extracciones de una distribución conjunta muestreando iterativamente cada componente, o bloque de componentes, de su distribución condicional dadas todas las demás.
Scope
Este tema trata el muestreo de Gibbs como un algoritmo computacional: la construcción del muestreador a partir de distribuciones condicionales completas, su interpretación como un paso de Metropolis-Hastings con probabilidad de aceptación uno, las estrategias de bloqueo y colapso que mejoran la mezcla, la aumentación de datos y el comportamiento de convergencia y autocorrelación del algoritmo. La perspectiva aplicada de inferencia bayesiana se cubre por separado en computación bayesiana.
Core questions
- ¿Cómo convergen las extracciones repetidas de distribuciones condicionales completas al objetivo conjunto?
- ¿Por qué el muestreador de Gibbs es un algoritmo de Metropolis-Hastings con probabilidad de aceptación uno?
- ¿Cómo mejoran el bloqueo y el colapso la mezcla del muestreador?
- ¿Cómo introduce la aumentación de datos variables latentes para hacer que las condicionales sean tratables?
Key concepts
- Distribución condicional completa
- Aumentación de datos
- Bloqueo y colapso
- Compatibilidad de condicionales
- Mezcla
Key theories
- Muestreo condicional completo
- El muestreo de cada variable a su vez de su distribución condicional dadas las otras define una cadena de Markov cuya distribución estacionaria es el objetivo conjunto, siempre que las condicionales sean compatibles y la cadena sea irreducible.
- Aumentación de datos y bloqueo
- La introducción de variables latentes auxiliares puede hacer que las condicionales completas sean estándar y fáciles de muestrear, mientras que la actualización de variables correlacionadas en bloques reduce la autocorrelación que, de otro modo, producirían las actualizaciones lentas componente a componente.
Clinical relevance
El muestreo de Gibbs es un algoritmo fundamental de la computación estadística porque muchos modelos tienen condicionales completas simples y estándar; subyace a los muestreadores de propósito general y se aplica a modelos mixtos, modelos de variables latentes, restauración de imágenes y análisis de ligamiento genético.
History
Geman y Geman introdujeron el muestreador de Gibbs en 1984 para la restauración de imágenes, nombrándolo en honor a las distribuciones de Gibbs de la física estadística; el artículo de Gelfand y Smith de 1990 mostró su amplia aplicabilidad, lo que provocó su adopción generalizada en la estadística computacional.
Key figures
- Stuart Geman
- Donald Geman
- Alan Gelfand
- Adrian Smith
Related topics
Seminal works
- geman1984
- gelfand1990
Frequently asked questions
- ¿Cuándo es especialmente conveniente el muestreo de Gibbs?
- Cuando las distribuciones condicionales completas son distribuciones estándar que se pueden muestrear directamente. Entonces no se necesita ajustar las propuestas ni los pasos de aceptación porque cada propuesta es aceptada.
- ¿Por qué un muestreador de Gibbs puede mezclarse lentamente?
- Cuando las variables están altamente correlacionadas, actualizarlas una a una mueve la cadena en pequeños pasos a lo largo de crestas estrechas, produciendo una alta autocorrelación. El bloqueo de variables correlacionadas o la reparametrización del modelo pueden mejorar la mezcla.