Gibbs-Sampling (Statistische Berechnungen)

Gibbs-Sampling ist eine Markov-Ketten-Monte-Carlo-Methode, die eine multivariate Verteilung abtastet, indem sie ihre Variablen durchläuft und jede der Reihe nach aus ihrer vollständigen bedingten Verteilung zieht, gegeben die aktuellen Werte der anderen.

Definition

Gibbs-Sampling ist ein Markov-Ketten-Monte-Carlo-Algorithmus, der Ziehungen aus einer gemeinsamen Verteilung erzeugt, indem er iterativ jede Komponente oder jeden Block von Komponenten aus ihrer bedingten Verteilung, gegeben alle anderen, abtastet.

Scope

Dieses Thema behandelt Gibbs-Sampling als einen computationalen Algorithmus: die Konstruktion des Samplers aus vollständigen bedingten Verteilungen, seine Interpretation als Metropolis-Hastings-Schritt mit Akzeptanzwahrscheinlichkeit eins, Blocking- und Collapsing-Strategien, die das Mischen verbessern, Datenaugmentation sowie das Konvergenz- und Autokorrelationsverhalten des Algorithmus. Die angewandte bayesianische Inferenzperspektive wird separat unter bayesianische Berechnung behandelt.

Core questions

• Wie konvergieren wiederholte Ziehungen aus vollständigen bedingten Verteilungen zum gemeinsamen Ziel?
• Warum ist der Gibbs-Sampler ein Metropolis-Hastings-Algorithmus mit Akzeptanzwahrscheinlichkeit eins?
• Wie verbessern Blocking und Collapsing das Mischen des Samplers?
• Wie führt Datenaugmentation latente Variablen ein, um Bedingtheiten handhabbar zu machen?

Key concepts

• Vollständige bedingte Verteilung
• Datenaugmentation
• Blocking und Collapsing
• Kompatibilität von Bedingtheiten
• Mischen

Key theories

Vollständige bedingte Stichprobenziehung

Das sequentielle Ziehen jeder Variablen aus ihrer bedingten Verteilung, gegeben die anderen, definiert eine Markov-Kette, deren stationäre Verteilung das gemeinsame Ziel ist, vorausgesetzt, die Bedingtheiten sind kompatibel und die Kette ist irreduzibel.

Datenaugmentation und Blocking

Die Einführung von zusätzlichen latenten Variablen kann vollständige Bedingtheiten standardisieren und leicht abtastbar machen, während die Aktualisierung korrelierter Variablen in Blöcken die Autokorrelation reduziert, die sonst durch langsame komponentenweise Aktualisierungen entstehen würde.

Clinical relevance

Gibbs-Sampling ist ein zentraler Algorithmus in der statistischen Berechnung, da viele Modelle einfache, standardmäßige vollständige Bedingtheiten aufweisen; er liegt allgemeinen Samplern zugrunde und wird auf gemischte Modelle, Modelle mit latenten Variablen, Bildrestauration und genetische Kopplungsanalyse angewendet.

History

Geman und Geman führten den Gibbs-Sampler 1984 zur Bildrestauration ein und benannten ihn nach den Gibbs-Verteilungen der statistischen Physik; Gelfand und Smiths Arbeit von 1990 zeigte seine breite Anwendbarkeit und löste eine weite Verbreitung in der gesamten Computerstatistik aus.

Key figures

• Stuart Geman
• Donald Geman
• Alan Gelfand
• Adrian Smith

Seminal works

• geman1984
• gelfand1990

Frequently asked questions

Wann ist Gibbs-Sampling besonders praktisch?

Wenn die vollständigen bedingten Verteilungen Standardverteilungen sind, die direkt abgetastet werden können. Dann ist keine Anpassung von Vorschlägen oder Akzeptanzschritten erforderlich, da jeder Vorschlag akzeptiert wird.

Warum kann ein Gibbs-Sampler langsam mischen?

Wenn Variablen stark korreliert sind, bewegt das Aktualisieren einer nach der anderen die Kette in kleinen Schritten entlang schmaler Grate, was zu einer hohen Autokorrelation führt. Das Blocken korrelierter Variablen oder die Reparametrisierung des Modells kann das Mischen verbessern.