Muestreo de Gibbs
El muestreo de Gibbs explora una posterior actualizando cada parámetro a su vez a partir de su distribución condicional completa dadas todas las demás.
Definition
El muestreo de Gibbs es un método MCMC que cicla a través de los componentes del vector de parámetros, extrayendo cada uno de su distribución posterior condicional dados los valores actuales de todos los demás componentes, produciendo una cadena cuya distribución estacionaria es la posterior conjunta.
Scope
Este tema cubre las actualizaciones condicionales completas que definen el muestreador de Gibbs, su estado como un caso especial de Metropolis-Hastings con probabilidad de aceptación uno, el uso de la aumentación de datos para crear condicionales tratables, y las estrategias de bloqueo y colapso que mejoran la mezcla.
Core questions
- ¿Qué son las distribuciones condicionales completas y cómo se utilizan en el muestreo de Gibbs?
- ¿Por qué el muestreo de Gibbs es un caso especial de Metropolis-Hastings?
- ¿Cómo la aumentación de datos crea condicionales tratables?
- ¿Cómo el bloqueo y el colapso mejoran la eficiencia del muestreador?
Key concepts
- distribución condicional completa
- aumentación de datos
- bloqueo
- colapso
- variables latentes
- actualización por componentes
Key theories
- Actualización condicional completa
- Muestrear cada parámetro a partir de su condicional completa deja invariante la posterior conjunta; cuando las condicionales son conjugadas, las actualizaciones son de forma cerrada y la aceptación es automática.
- Aumentación de datos
- La introducción de variables latentes puede hacer que las condicionales, de otro modo intratables, sean estándar, convirtiendo problemas difíciles como las mezclas y los modelos probit en actualizaciones de Gibbs sencillas.
Clinical relevance
El muestreo de Gibbs hizo rutinarios los modelos jerárquicos y de variables latentes, y subyace en software ampliamente utilizado como BUGS y JAGS para el modelado bayesiano aplicado en bioestadística y ciencias sociales.
History
Geman y Geman introdujeron el muestreador de Gibbs en 1984 para la restauración de imágenes, nombrándolo en honor a las distribuciones de Gibbs en física estadística. El artículo de Gelfand y Smith de 1990 mostró su amplia aplicabilidad a la inferencia bayesiana, lo que provocó su adopción generalizada.
Debates
- Mezcla lenta bajo fuerte dependencia
- Las actualizaciones de Gibbs por componentes pueden mezclarse mal cuando los parámetros están altamente correlacionados, lo que motiva la reparametrización, el bloqueo o las alternativas basadas en gradientes.
Key figures
- Stuart Geman
- Donald Geman
- Alan Gelfand
- Adrian Smith
Related topics
Seminal works
- geman1984
- gelfand1990
Frequently asked questions
- ¿Cuándo es una buena opción el muestreo de Gibbs?
- El muestreo de Gibbs es adecuado para modelos con condicionales completas conjugadas o estándar, como muchos modelos jerárquicos y de variables latentes, pero puede mezclarse lentamente cuando los parámetros están fuertemente correlacionados.