Algorithme de Metropolis-Hastings

L'algorithme de Metropolis-Hastings construit une chaîne de Markov ciblant toute distribution a posteriori en proposant des déplacements et en les acceptant avec une probabilité qui assure l'équilibre détaillé.

Definition

L'algorithme de Metropolis-Hastings génère une chaîne de Markov en tirant un candidat d'une distribution de proposition et en l'acceptant avec une probabilité égale au minimum de un et du rapport des densités cibles multiplié par le rapport des densités de proposition, ce qui garantit la distribution a posteriori comme distribution stationnaire.

Scope

Ce sujet aborde le mécanisme de proposition et d'acceptation, le rapport d'acceptation qui corrige l'asymétrie de la proposition, les cas particuliers tels que les échantillonneurs à marche aléatoire et d'indépendance, ainsi que l'ajustement de l'échelle de proposition pour obtenir un mélange efficace.

Core questions

• Comment la probabilité d'acceptation assure-t-elle l'équilibre détaillé par rapport à la cible ?
• En quoi les propositions à marche aléatoire et d'indépendance diffèrent-elles dans leur comportement ?
• Comment l'échelle de proposition est-elle ajustée, et quel taux d'acceptation est efficace ?
• Pourquoi l'algorithme n'a-t-il besoin que de la densité a posteriori non normalisée ?

Key concepts

• distribution de proposition
• probabilité d'acceptation
• rapport de Hastings
• Metropolis à marche aléatoire
• échantillonneur d'indépendance
• équilibre détaillé
• ajustement de la proposition

Key theories

Règle d'acceptation de Metropolis-Hastings

L'acceptation des propositions avec le rapport de Hastings rend la chaîne réversible par rapport à la cible, de sorte qu'elle converge vers la distribution a posteriori quelle que soit la proposition, à condition que la chaîne soit irréductible et apériodique.

Mise à l'échelle optimale

Pour les propositions à marche aléatoire en haute dimension, l'ajustement de la taille du pas vers un taux d'acceptation proche d'un quart équilibre l'exploration et le rejet, un résultat de l'analyse de la limite de diffusion de l'échantillonneur.

Clinical relevance

Metropolis-Hastings est le moteur généraliste pour l'échantillonnage des distributions a posteriori dans les modèles sans structure conjuguée, utilisé en génétique statistique, en analyse d'images et dans les sciences physiques.

History

L'algorithme a été introduit pour les simulations de physique statistique par Metropolis, les Rosenbluth et les Teller en 1953 ; Hastings l'a généralisé à des propositions arbitraires et à des cibles statistiques en 1970, après quoi il est devenu la pierre angulaire des méthodes MCMC.

Key figures

• Nicholas Metropolis
• Marshall Rosenbluth
• Arianna Rosenbluth
• W. Keith Hastings

Seminal works

• metropolis1953
• hastings1970

Frequently asked questions

Quel taux d'acceptation devrais-je viser ?

Pour les propositions à marche aléatoire en haute dimension, un taux d'acceptation d'environ 20-25 % est souvent quasi optimal, tandis que pour les propositions unidimensionnelles ou d'indépendance, des taux plus élevés peuvent être appropriés ; l'objectif est une exploration efficace, et non un taux particulier en soi.