Chaîne de Markov Monte Carlo

La chaîne de Markov Monte Carlo échantillonne à partir d'une distribution cible complexe en simulant une chaîne de Markov conçue pour avoir cette distribution comme loi stationnaire, de sorte que le chemin de la chaîne, une fois convergé, se comporte comme un échantillon dépendant de la cible.

Definition

La chaîne de Markov Monte Carlo est une classe d'algorithmes qui estiment des espérances sous une distribution cible en construisant une chaîne de Markov ergodique dont la distribution invariante est la cible et en moyennant une fonction sur les états réalisés de la chaîne.

Scope

Ce sujet couvre la construction de chaînes avec une distribution stationnaire prescrite par l'équilibre détaillé, l'algorithme de Metropolis-Hastings et ses mécanismes de proposition, les diagnostics de convergence et de mélange, la période de rodage (burn-in) et l'autocorrélation, ainsi que l'estimation des erreurs standard de Monte Carlo à partir de tirages dépendants. L'échantillonneur de Gibbs est traité comme un sujet distinct et connexe, et les variantes hamiltoniennes et adaptatives sont mentionnées comme des extensions.

Core questions

• Comment une chaîne de Markov est-elle construite de manière à ce que sa distribution stationnaire soit une cible prescrite ?
• Comment l'étape d'acceptation-rejet de Metropolis-Hastings assure-t-elle l'équilibre détaillé pour une proposition arbitraire ?
• Comment la convergence vers la stationnarité est-elle évaluée, et comment la vitesse de mélange est-elle diagnostiquée ?
• Comment les erreurs standard de Monte Carlo sont-elles calculées à partir de tirages autocorrélés ?

Key concepts

• Distribution stationnaire
• Équilibre détaillé
• Ratio d'acceptation
• Période de rodage (burn-in)
• Autocorrélation et mélange
• Diagnostics de convergence

Key theories

Équilibre détaillé et stationnarité

Si un noyau de transition satisfait l'équilibre détaillé par rapport à une distribution cible, cette distribution est stationnaire ; les moyennes ergodiques de la chaîne résultante convergent alors vers les espérances sous la cible.

Algorithme de Metropolis-Hastings

Proposer un mouvement et l'accepter avec une probabilité construite à partir des densités cible et de proposition produit une chaîne réversible par rapport à la cible, ne nécessitant la cible qu'à une constante de normalisation près.

Clinical relevance

La chaîne de Markov Monte Carlo a rendu l'inférence pleinement bayésienne pratique pour les modèles hiérarchiques et de haute dimension, et est appliquée en génétique statistique, en écologie, en épidémiologie, en économétrie et dans les sciences physiques partout où les distributions a posteriori ou de Boltzmann doivent être explorées mais ne peuvent pas être échantillonnées directement.

History

L'algorithme de Metropolis est apparu en 1953 en physique statistique, Hastings l'a généralisé en 1970, et le début des années 1990 a vu les statisticiens adopter la chaîne de Markov Monte Carlo comme moteur standard du calcul bayésien, étendu plus tard par Monte Carlo hamiltonien et les échantillonneurs adaptatifs.

Debates

Évaluation de la convergence

Puisqu'aucune exécution finie ne peut prouver qu'une chaîne a atteint sa distribution stationnaire, les praticiens s'appuient sur des diagnostics et des chaînes multiples ; il y a une discussion continue sur les diagnostics fiables et sur la prudence à adopter concernant la période de rodage (burn-in) et la longueur d'exécution.

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Christian P. Robert
• Andrew Gelman

Seminal works

• metropolis1953
• hastings1970

Frequently asked questions

Pourquoi les échantillons de chaîne de Markov Monte Carlo sont-ils corrélés ?

Chaque état est généré à partir du précédent, de sorte que les tirages consécutifs sont dépendants. Cette autocorrélation réduit la quantité effective d'informations, c'est pourquoi la vitesse de mélange et la taille effective de l'échantillon sont importantes lors de l'estimation de la précision.

Qu'est-ce que la période de rodage (burn-in) ?

La période de rodage (burn-in) est la portion initiale de la chaîne qui est écartée car elle reflète encore le point de départ arbitraire plutôt que la distribution cible. L'écarter réduit le biais dû à l'initialisation avant de moyenner les tirages restants.