Cadeia de Markov Monte Carlo

A cadeia de Markov Monte Carlo amostra a partir de uma distribuição alvo complexa simulando uma cadeia de Markov projetada para ter essa distribuição como sua única lei estacionária.

Definition

Cadeia de Markov Monte Carlo é uma família de algoritmos que estimam expectativas sob uma distribuição de probabilidade alvo, executando uma cadeia de Markov ergódica cuja distribuição estacionária é o alvo e calculando a média de uma função ao longo do caminho da cadeia.

Scope

Este tópico aborda o projeto de núcleos de transição com uma distribuição estacionária prescrita, o algoritmo de Metropolis-Hastings e sua regra de aceitação, o amostrador de Gibbs para atualizações condicionais, diagnósticos de convergência e burn-in, o efeito da autocorrelação na variância do estimador e a ligação entre os tempos de mistura e o custo computacional da amostragem.

Core questions

• Como uma cadeia de Markov é construída para ter uma distribuição estacionária desejada?
• Por que a regra de aceitação de Metropolis-Hastings produz a lei estacionária correta?
• Como o amostrador de Gibbs explora as distribuições condicionais?
• Quanto tempo uma cadeia deve ser executada antes que suas amostras sejam utilizáveis, e como isso é avaliado?

Key theories

Construção de Metropolis-Hastings

Propor movimentos a partir de um núcleo arbitrário e aceitá-los com uma probabilidade construída a partir da razão de densidade alvo produz uma cadeia reversível cuja distribuição estacionária é exatamente o alvo, exigindo apenas o alvo até uma constante de normalização.

Médias ergódicas e estimação Monte Carlo

Como a cadeia é ergódica com o alvo como sua lei estacionária, as médias temporais de uma função ao longo da cadeia convergem quase certamente para a expectativa alvo, justificando o uso de caminhos simulados como amostras.

Clinical relevance

A cadeia de Markov Monte Carlo é a base da estatística bayesiana moderna, da física estatística e da aprendizagem de máquina, permitindo a inferência sobre distribuições posteriores de alta dimensão, funções de partição e paisagens de energia que não podem ser integradas analiticamente; sua confiabilidade depende da mistura rápida o suficiente da cadeia subjacente.

History

A cadeia de aceitação-rejeição originou-se no algoritmo de Metropolis de 1953 para física estatística, foi generalizada por Hastings em 1970 e foi reformulada para a estatística através do amostrador de Gibbs de Geman e Geman em 1984 e das influentes aplicações bayesianas de Gelfand e Smith por volta de 1990, que lançaram a revolução bayesiana computacional.

Key figures

• Nicholas Metropolis
• W. Keith Hastings
• Stuart Geman
• Donald Geman

Seminal works

• robertCasella2004
• hastings1970

Frequently asked questions

Por que usar uma cadeia de Markov para extrair amostras?

Para distribuições alvo de alta dimensão ou não normalizadas, a amostragem direta é inviável; uma cadeia de Markov que converge para o alvo permite gerar amostras dependentes, mas corretamente distribuídas, depois que ela atinge o equilíbrio.

O que é burn-in?

É a porção inicial da cadeia descartada porque a cadeia ainda não convergiu para sua distribuição estacionária, de modo que esses estados iniciais poderiam enviesar as estimativas.