Amostragem de Gibbs

A amostragem de Gibbs explora uma posterior atualizando cada parâmetro, por sua vez, a partir de sua distribuição condicional completa, dadas todas as outras variáveis.

Definition

A amostragem de Gibbs é um método MCMC que percorre os componentes do vetor de parâmetros, extraindo cada um de sua distribuição posterior condicional, dados os valores atuais de todos os outros componentes, produzindo uma cadeia cuja distribuição estacionária é a posterior conjunta.

Scope

Este tópico aborda as atualizações totalmente condicionais que definem o amostrador de Gibbs, seu status como um caso especial de Metropolis-Hastings com probabilidade de aceitação um, o uso de aumento de dados para criar condicionais tratáveis e estratégias de bloqueio e colapso que melhoram a mistura.

Core questions

• O que são distribuições condicionais completas e como são usadas na amostragem de Gibbs?
• Por que a amostragem de Gibbs é um caso especial de Metropolis-Hastings?
• Como o aumento de dados cria condicionais tratáveis?
• Como o bloqueio e o colapso melhoram a eficiência do amostrador?

Key concepts

• distribuição condicional completa
• aumento de dados
• bloqueio
• colapso
• variáveis latentes
• atualização componente a componente

Key theories

Atualização totalmente condicional

A amostragem de cada parâmetro a partir de sua condicional completa deixa a posterior conjunta invariante; quando as condicionais são conjugadas, as atualizações são de forma fechada e a aceitação é automática.

Aumento de dados

A introdução de variáveis latentes pode tornar condicionais de outra forma intratáveis em padrões, transformando problemas difíceis, como misturas e modelos probit, em atualizações de Gibbs diretas.

Clinical relevance

A amostragem de Gibbs tornou rotineiros os modelos hierárquicos e de variáveis latentes, e ela sustenta softwares amplamente utilizados, como BUGS e JAGS, para modelagem bayesiana aplicada em bioestatística e ciências sociais.

History

Geman e Geman introduziram o amostrador de Gibbs em 1984 para restauração de imagens, nomeando-o em homenagem às distribuições de Gibbs na física estatística. O artigo de Gelfand e Smith de 1990 mostrou sua ampla aplicabilidade à inferência bayesiana, desencadeando sua adoção generalizada.

Debates

Mistura lenta sob forte dependência

As atualizações de Gibbs componente a componente podem misturar-se mal quando os parâmetros são altamente correlacionados, motivando a reparametrização, o bloqueio ou alternativas baseadas em gradiente.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Quando a amostragem de Gibbs é uma boa escolha?

A amostragem de Gibbs é adequada para modelos com condicionais completas conjugadas ou de outra forma padrão, como muitos modelos hierárquicos e de variáveis latentes, mas pode misturar-se lentamente quando os parâmetros são fortemente correlacionados.