Gibbs-Sampling

Das Gibbs-Sampling untersucht eine Posterior-Verteilung, indem es jeden Parameter nacheinander aus seiner vollständigen bedingten Verteilung aktualisiert, gegeben alle anderen Parameter.

Definition

Gibbs-Sampling ist eine MCMC-Methode, die die Komponenten des Parametervektors durchläuft und jede aus ihrer bedingten Posterior-Verteilung zieht, gegeben die aktuellen Werte aller anderen Komponenten, wodurch eine Kette erzeugt wird, deren stationäre Verteilung die gemeinsame Posterior-Verteilung ist.

Scope

Dieses Thema behandelt die vollständigen bedingten Aktualisierungen, die den Gibbs-Sampler definieren, seinen Status als Sonderfall von Metropolis-Hastings mit einer Akzeptanzwahrscheinlichkeit von eins, die Verwendung von Datenaugmentation zur Erstellung handhabbarer Bedingtheiten sowie Blocking- und Collapsing-Strategien, die die Mischung verbessern.

Core questions

• Was sind vollständige bedingte Verteilungen und wie werden sie im Gibbs-Sampling verwendet?
• Warum ist Gibbs-Sampling ein Sonderfall von Metropolis-Hastings?
• Wie erzeugt Datenaugmentation handhabbare Bedingtheiten?
• Wie verbessern Blocking und Collapsing die Effizienz des Samplers?

Key concepts

• vollständige bedingte Verteilung
• Datenaugmentation
• Blocking
• Collapsing
• latente Variablen
• komponentenweise Aktualisierung

Key theories

Vollständige bedingte Aktualisierung

Das Sampling jedes Parameters aus seiner vollständigen Bedingung lässt die gemeinsame Posterior-Verteilung invariant; wenn die Bedingtheiten konjugiert sind, sind die Aktualisierungen in geschlossener Form und die Akzeptanz erfolgt automatisch.

Datenaugmentation

Die Einführung latenter Variablen kann ansonsten unlösbare Bedingtheiten standardisieren und schwierige Probleme wie Mischungen und Probit-Modelle in unkomplizierte Gibbs-Aktualisierungen umwandeln.

Clinical relevance

Das Gibbs-Sampling hat hierarchische Modelle und Modelle mit latenten Variablen routinemäßig gemacht und ist die Grundlage weit verbreiteter Software wie BUGS und JAGS für die angewandte Bayes'sche Modellierung in der Biostatistik und den Sozialwissenschaften.

History

Geman und Geman führten den Gibbs-Sampler 1984 zur Bildrestauration ein und benannten ihn nach Gibbs-Verteilungen in der statistischen Physik. Die Arbeit von Gelfand und Smith aus dem Jahr 1990 zeigte seine breite Anwendbarkeit auf die Bayes'sche Inferenz und löste eine weite Verbreitung aus.

Debates

Langsame Mischung bei starker Abhängigkeit

Komponentenweise Gibbs-Aktualisierungen können bei stark korrelierten Parametern schlecht mischen, was eine Reparametrisierung, Blocking oder gradientenbasierte Alternativen motiviert.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Wann ist Gibbs-Sampling eine gute Wahl?

Gibbs-Sampling eignet sich gut für Modelle mit konjugierten oder anderweitig standardmäßigen vollständigen Bedingtheiten, wie viele hierarchische Modelle und Modelle mit latenten Variablen, kann aber langsam mischen, wenn Parameter stark korreliert sind.