Échantillonnage de Gibbs

L'échantillonnage de Gibbs explore une distribution a posteriori en mettant à jour chaque paramètre à tour de rôle à partir de sa distribution conditionnelle complète, étant donné tous les autres.

Definition

L'échantillonnage de Gibbs est une méthode MCMC qui parcourt les composantes du vecteur de paramètres, tirant chacune de sa distribution a posteriori conditionnelle étant donné les valeurs actuelles de toutes les autres composantes, produisant ainsi une chaîne dont la distribution stationnaire est la distribution a posteriori conjointe.

Scope

Ce sujet couvre les mises à jour conditionnelles complètes qui définissent l'échantillonneur de Gibbs, son statut de cas particulier de l'algorithme de Metropolis-Hastings avec une probabilité d'acceptation de un, l'utilisation de l'augmentation de données pour créer des distributions conditionnelles traitables, ainsi que les stratégies de blocage et de regroupement (collapsing) qui améliorent la convergence (mixing).

Core questions

• Que sont les distributions conditionnelles complètes et comment sont-elles utilisées dans l'échantillonnage de Gibbs ?
• Pourquoi l'échantillonnage de Gibbs est-il un cas particulier de l'algorithme de Metropolis-Hastings ?
• Comment l'augmentation de données crée-t-elle des distributions conditionnelles traitables ?
• Comment le blocage et le regroupement (collapsing) améliorent-ils l'efficacité de l'échantillonneur ?

Key concepts

• distribution conditionnelle complète
• augmentation de données
• blocage
• regroupement (collapsing)
• variables latentes
• mise à jour composante par composante

Key theories

Mise à jour conditionnelle complète

L'échantillonnage de chaque paramètre à partir de sa conditionnelle complète laisse la distribution a posteriori conjointe invariante ; lorsque les conditionnelles sont conjuguées, les mises à jour sont de forme fermée et l'acceptation est automatique.

Augmentation de données

L'introduction de variables latentes peut rendre standard des distributions conditionnelles autrement intraitables, transformant des problèmes difficiles tels que les modèles de mélange et les modèles probit en mises à jour de Gibbs simples.

Clinical relevance

L'échantillonnage de Gibbs a rendu routiniers les modèles hiérarchiques et à variables latentes, et il est à la base de logiciels largement utilisés tels que BUGS et JAGS pour la modélisation bayésienne appliquée en biostatistique et dans les sciences sociales.

History

Geman et Geman ont introduit l'échantillonneur de Gibbs en 1984 pour la restauration d'images, le nommant d'après les distributions de Gibbs en physique statistique. L'article de Gelfand et Smith de 1990 a démontré sa large applicabilité à l'inférence bayésienne, déclenchant une adoption généralisée.

Debates

Convergence lente (mixing) en cas de forte dépendance

Les mises à jour de Gibbs composante par composante peuvent converger lentement (mix poorly) lorsque les paramètres sont fortement corrélés, ce qui motive la reparamétrisation, le blocage ou des alternatives basées sur le gradient.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Quand l'échantillonnage de Gibbs est-il un bon choix ?

L'échantillonnage de Gibbs est bien adapté aux modèles avec des distributions conditionnelles complètes conjuguées ou autrement standard, tels que de nombreux modèles hiérarchiques et à variables latentes, mais il peut converger lentement (mix slowly) lorsque les paramètres sont fortement corrélés.