Amostragem de Gibbs (Computação Estatística)

A amostragem de Gibbs é um método de Monte Carlo de cadeia de Markov que amostra uma distribuição multivariada ciclando através de suas variáveis e extraindo cada uma, por sua vez, de sua distribuição condicional completa, dadas os valores atuais das outras.

Definition

A amostragem de Gibbs é um algoritmo de Monte Carlo de cadeia de Markov que gera amostras de uma distribuição conjunta, amostrando iterativamente cada componente, ou bloco de componentes, de sua distribuição condicional, dadas todas as outras.

Scope

Este tópico trata a amostragem de Gibbs como um algoritmo computacional: a construção do amostrador a partir de distribuições condicionais completas, sua interpretação como um passo de Metropolis-Hastings com probabilidade de aceitação um, estratégias de bloqueio e colapso que melhoram a mistura, aumento de dados e o comportamento de convergência e autocorrelação do algoritmo. A perspectiva aplicada de inferência bayesiana é abordada separadamente em computação bayesiana.

Core questions

• Como as extrações repetidas de distribuições condicionais completas convergem para o alvo conjunto?
• Por que o amostrador de Gibbs é um algoritmo de Metropolis-Hastings com probabilidade de aceitação um?
• Como o bloqueio e o colapso melhoram a mistura do amostrador?
• Como o aumento de dados introduz variáveis latentes para tornar as condicionais tratáveis?

Key concepts

• Distribuição condicional completa
• Aumento de dados
• Bloqueio e colapso
• Compatibilidade de condicionais
• Mistura

Key theories

Amostragem condicional completa

Amostrar cada variável, por sua vez, de sua distribuição condicional, dadas as outras, define uma cadeia de Markov cuja distribuição estacionária é o alvo conjunto, desde que as condicionais sejam compatíveis e a cadeia seja irredutível.

Aumento de dados e bloqueio

A introdução de variáveis latentes auxiliares pode tornar as condicionais completas padrão e fáceis de amostrar, enquanto a atualização de variáveis correlacionadas em blocos reduz a autocorrelação que as atualizações lentas, componente a componente, produziriam de outra forma.

Clinical relevance

A amostragem de Gibbs é um algoritmo fundamental da computação estatística porque muitos modelos possuem condicionais completas simples e padrão; ela sustenta amostradores de propósito geral e é aplicada a modelos mistos, modelos de variáveis latentes, restauração de imagens e análise de ligação genética.

History

Geman e Geman introduziram o amostrador de Gibbs em 1984 para restauração de imagens, nomeando-o em homenagem às distribuições de Gibbs da física estatística; o artigo de Gelfand e Smith de 1990 demonstrou sua ampla aplicabilidade, impulsionando sua adoção generalizada na estatística computacional.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Quando a amostragem de Gibbs é especialmente conveniente?

Quando as distribuições condicionais completas são distribuições padrão que podem ser amostradas diretamente. Então, não é necessário ajustar propostas ou etapas de aceitação, pois toda proposta é aceita.

Por que um amostrador de Gibbs pode misturar lentamente?

Quando as variáveis são altamente correlacionadas, atualizá-las uma de cada vez move a cadeia em pequenos passos ao longo de cristas estreitas, produzindo alta autocorrelação. Bloquear variáveis correlacionadas ou reparametrizar o modelo pode melhorar a mistura.