Chaîne de Markov Monte Carlo

La méthode de Monte Carlo par chaînes de Markov échantillonne à partir d'une distribution cible complexe en simulant une chaîne de Markov conçue pour avoir cette distribution comme unique loi stationnaire.

Definition

La méthode de Monte Carlo par chaînes de Markov est une famille d'algorithmes qui estiment des espérances sous une distribution de probabilité cible en exécutant une chaîne de Markov ergodique dont la distribution stationnaire est la cible et en moyennant une fonction sur le chemin de la chaîne.

Scope

Ce sujet aborde la conception de noyaux de transition avec une distribution stationnaire prescrite, l'algorithme de Metropolis-Hastings et sa règle d'acceptation, l'échantillonneur de Gibbs pour les mises à jour conditionnelles, les diagnostics de convergence et la période de rodage (burn-in), l'effet de l'autocorrélation sur la variance de l'estimateur, et le lien entre les temps de mélange et le coût computationnel de l'échantillonnage.

Core questions

• Comment une chaîne de Markov est-elle construite pour avoir une distribution stationnaire désirée ?
• Pourquoi la règle d'acceptation de Metropolis-Hastings produit-elle la loi stationnaire correcte ?
• Comment l'échantillonneur de Gibbs exploite-t-il les distributions conditionnelles ?
• Combien de temps une chaîne doit-elle s'exécuter avant que ses échantillons ne soient utilisables, et comment cela est-il évalué ?

Key theories

Construction de Metropolis-Hastings

Proposer des transitions à partir d'un noyau arbitraire et les accepter avec une probabilité construite à partir du rapport de densité cible produit une chaîne réversible dont la distribution stationnaire est exactement la cible, ne nécessitant la cible qu'à une constante de normalisation près.

Moyennes ergodiques et estimation Monte Carlo

Puisque la chaîne est ergodique avec la cible comme loi stationnaire, les moyennes temporelles d'une fonction le long de la chaîne convergent presque sûrement vers l'espérance cible, justifiant l'utilisation de chemins simulés comme échantillons.

Clinical relevance

La méthode de Monte Carlo par chaînes de Markov est l'outil fondamental des statistiques bayésiennes modernes, de la physique statistique et de l'apprentissage automatique, permettant l'inférence sur des distributions a posteriori de haute dimension, des fonctions de partition et des paysages énergétiques qui ne peuvent être intégrés analytiquement ; sa fiabilité dépend de la rapidité de mélange de la chaîne sous-jacente.

History

La chaîne d'acceptation-rejet a vu le jour avec l'algorithme de Metropolis en 1953 pour la physique statistique, a été généralisée par Hastings en 1970, et a été reformulée pour les statistiques grâce à l'échantillonneur de Gibbs de Geman et Geman en 1984 et aux applications bayésiennes influentes de Gelfand et Smith vers 1990, ce qui a lancé la révolution bayésienne computationnelle.

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Stuart Geman
• Donald Geman

Seminal works

• robertCasella2004
• hastings1970

Frequently asked questions

Pourquoi utiliser une chaîne de Markov pour tirer des échantillons ?

Pour les distributions cibles de haute dimension ou non normalisées, l'échantillonnage direct est irréalisable ; une chaîne de Markov qui converge vers la cible permet de générer des échantillons dépendants mais correctement distribués après qu'elle ait atteint l'équilibre.

Qu'est-ce que la période de rodage (burn-in) ?

C'est la portion initiale de la chaîne qui est écartée car la chaîne n'a pas encore convergé vers sa distribution stationnaire, de sorte que ces premiers états biaiseraient les estimations.