Distribuições Estacionárias e Ergodicidade

Uma distribuição estacionária é uma distribuição de probabilidade sobre estados que uma cadeia de Markov deixa inalterada, e sob condições amenas a cadeia esquece seu ponto de partida e converge para este equilíbrio, com as médias temporais correspondendo às médias espaciais.

Definition

Uma distribuição estacionária de uma cadeia de Markov é uma distribuição de probabilidade sobre os estados que é invariante sob um passo da cadeia, e uma cadeia é ergódica quando, a partir de qualquer estado inicial, sua distribuição converge para esta distribuição estacionária e suas médias temporais convergem para expectativas estacionárias.

Scope

O tópico abrange distribuições estacionárias e invariantes e sua existência e unicidade para cadeias irredutíveis positivamente recorrentes, o papel da aperiodicidade na convergência, balanço detalhado e reversibilidade, o teorema ergódico da cadeia de Markov que iguala as médias temporais de longo prazo às expectativas estacionárias, a taxa de convergência ao equilíbrio e os tempos de mistura, e o uso dessas ideias em Markov chain Monte Carlo.

Core questions

• Quando uma cadeia de Markov possui uma distribuição estacionária única?
• Sob quais condições a distribuição da cadeia converge para essa distribuição estacionária?
• O que é balanço detalhado e como a reversibilidade simplifica a descoberta da distribuição estacionária?
• Como as médias temporais de longo prazo se relacionam com as médias sob a distribuição estacionária?

Key concepts

• distribuição estacionária
• irredutibilidade e aperiodicidade
• balanço detalhado
• teorema ergódico
• tempo de mistura

Key theories

Existência, unicidade e convergência para a estacionaridade

Uma cadeia de Markov irredutível positivamente recorrente possui uma distribuição estacionária única dada pelos recíprocos dos tempos médios de retorno, e se for também aperiódica, a distribuição do estado converge para ela a partir de cada ponto de partida.

Teorema ergódico da cadeia de Markov

Para uma cadeia irredutível positivamente recorrente, a média de longo prazo de uma função do estado converge quase certamente para sua expectativa sob a distribuição estacionária, o análogo da lei dos grandes números para dados de Markov dependentes.

Balanço detalhado e reversibilidade

Se uma distribuição satisfaz o balanço detalhado com as probabilidades de transição, significando que o fluxo entre quaisquer dois estados se equilibra em ambas as direções, então ela é estacionária e a cadeia é reversível, uma condição explorada para projetar amostradores de Markov chain Monte Carlo.

Clinical relevance

Esses resultados são o motor teórico de Markov chain Monte Carlo, onde uma cadeia é projetada para ter uma distribuição alvo como sua lei estacionária, de modo que suas amostras aproximem essa distribuição; os limites do tempo de mistura informam aos praticantes quanto tempo devem executar tais simulações, e a mesma teoria governa os comprimentos de fila de equilíbrio e a confiabilidade em regime estacionário.

History

A teoria do equilíbrio das cadeias de Markov surgiu do trabalho original de Markov e foi colocada em sua forma moderna por Doob, Feller e outros. Sua importância aplicada aumentou com o algoritmo de Metropolis de 1953 e a generalização de Hastings de 1970, que transformaram a convergência para uma distribuição estacionária em um método prático de computação.

Key figures

• Andrey Markov
• Nicholas Metropolis
• Wilfred Keith Hastings
• Sean Meyn

Seminal works

• norris1997

Frequently asked questions

Toda cadeia de Markov converge para uma distribuição estacionária?

Não; a convergência requer condições como irredutibilidade, recorrência positiva e aperiodicidade. Uma cadeia periódica pode ciclar sem se estabilizar, e uma cadeia transiente ou nula-recorrente pode não ter nenhuma distribuição estacionária.

Por que a reversibilidade é útil na prática?

A reversibilidade via balanço detalhado fornece uma equação simples que uma distribuição estacionária candidata deve satisfazer, o que tanto facilita a verificação da distribuição estacionária quanto fornece o princípio de design por trás de Metropolis-Hastings e muitos outros algoritmos de Markov chain Monte Carlo.