Échantillonnage de Gibbs (Informatique statistique)

L'échantillonnage de Gibbs est une méthode de Monte Carlo par chaîne de Markov qui échantillonne une distribution multivariée en parcourant ses variables et en tirant chacune à son tour de sa distribution conditionnelle complète étant donné les valeurs actuelles des autres.

Definition

L'échantillonnage de Gibbs est un algorithme de Monte Carlo par chaîne de Markov qui génère des tirages à partir d'une distribution conjointe en échantillonnant itérativement chaque composante, ou bloc de composantes, à partir de sa distribution conditionnelle étant donné toutes les autres.

Scope

Ce sujet traite de l'échantillonnage de Gibbs en tant qu'algorithme de calcul : la construction de l'échantillonneur à partir de distributions conditionnelles complètes, son interprétation comme une étape de Metropolis-Hastings avec une probabilité d'acceptation de un, les stratégies de blocage et de regroupement (collapsing) qui améliorent le mélange, l'augmentation de données, ainsi que le comportement de convergence et d'autocorrélation de l'algorithme. La perspective de l'inférence bayésienne appliquée est traitée séparément sous le thème du calcul bayésien.

Core questions

• Comment des tirages répétés à partir de distributions conditionnelles complètes convergent-ils vers la cible conjointe ?
• Pourquoi l'échantillonneur de Gibbs est-il un algorithme de Metropolis-Hastings avec une probabilité d'acceptation de un ?
• Comment le blocage et le regroupement (collapsing) améliorent-ils le mélange de l'échantillonneur ?
• Comment l'augmentation de données introduit-elle des variables latentes pour rendre les distributions conditionnelles traitables ?

Key concepts

• Distribution conditionnelle complète
• Augmentation de données
• Blocage et regroupement (collapsing)
• Compatibilité des distributions conditionnelles
• Mélange

Key theories

Échantillonnage conditionnel complet

L'échantillonnage de chaque variable à son tour à partir de sa distribution conditionnelle étant donné les autres définit une chaîne de Markov dont la distribution stationnaire est la cible conjointe, à condition que les distributions conditionnelles soient compatibles et que la chaîne soit irréductible.

Augmentation de données et blocage

L'introduction de variables latentes auxiliaires peut rendre les distributions conditionnelles complètes standardisées et faciles à échantillonner, tandis que la mise à jour de variables corrélées par blocs réduit l'autocorrélation que des mises à jour lentes composante par composante produiraient autrement.

Clinical relevance

L'échantillonnage de Gibbs est un algorithme fondamental de l'informatique statistique car de nombreux modèles possèdent des distributions conditionnelles complètes simples et standardisées ; il sous-tend les échantillonneurs à usage général et est appliqué aux modèles mixtes, aux modèles à variables latentes, à la restauration d'images et à l'analyse de liaison génétique.

History

Geman et Geman ont introduit l'échantillonneur de Gibbs en 1984 pour la restauration d'images, le nommant d'après les distributions de Gibbs de la physique statistique ; l'article de Gelfand et Smith de 1990 a démontré sa large applicabilité, déclenchant une adoption généralisée dans l'ensemble de la statistique computationnelle.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Quand l'échantillonnage de Gibbs est-il particulièrement pratique ?

Lorsque les distributions conditionnelles complètes sont des distributions standard qui peuvent être échantillonnées directement. Alors aucun ajustement des propositions ou des étapes d'acceptation n'est nécessaire car chaque proposition est acceptée.

Pourquoi un échantillonneur de Gibbs peut-il se mélanger lentement ?

Lorsque les variables sont fortement corrélées, les mettre à jour une par une déplace la chaîne par petits pas le long de crêtes étroites, produisant une autocorrélation élevée. Le blocage des variables corrélées ou la reparamétrisation du modèle peuvent améliorer le mélange.