Metropolis-Hastings-Algorithmus

Der Metropolis-Hastings-Algorithmus konstruiert eine Markow-Kette, die auf eine beliebige Posterior-Verteilung abzielt, indem er Übergänge vorschlägt und diese mit einer Wahrscheinlichkeit akzeptiert, die ein detailliertes Gleichgewicht erzwingt.

Definition

Der Metropolis-Hastings-Algorithmus generiert eine Markow-Kette, indem er einen Kandidaten aus einer Vorschlagsverteilung zieht und ihn mit einer Wahrscheinlichkeit akzeptiert, die dem Minimum aus eins und dem Verhältnis der Zieldichten multipliziert mit dem Verhältnis der Vorschlagsdichten entspricht, was die Posterior-Verteilung als stationäre Verteilung garantiert.

Scope

Dieses Thema behandelt den Vorschlags- und Akzeptanzmechanismus, das Akzeptanzverhältnis, das Asymmetrien im Vorschlag korrigiert, Spezialfälle wie Random-Walk- und Independence-Sampler sowie die Abstimmung der Vorschlagsskala zur Erzielung einer effizienten Mischung (Mixing).

Core questions

• Wie erzwingt die Akzeptanzwahrscheinlichkeit ein detailliertes Gleichgewicht in Bezug auf das Ziel?
• Wie unterscheiden sich Random-Walk- und Independence-Vorschläge in ihrem Verhalten?
• Wie wird die Vorschlagsskala abgestimmt, und welche Akzeptanzrate ist effizient?
• Warum benötigt der Algorithmus nur die unnormalisierte Posterior-Dichte?

Key concepts

• Vorschlagsverteilung
• Akzeptanzwahrscheinlichkeit
• Hastings-Verhältnis
• Random-Walk-Metropolis
• Independence-Sampler
• detailliertes Gleichgewicht
• Vorschlagsabstimmung

Key theories

Metropolis-Hastings-Akzeptanzregel

Das Akzeptieren von Vorschlägen mit dem Hastings-Verhältnis macht die Kette in Bezug auf das Ziel reversibel, sodass sie unabhängig vom Vorschlag zur Posterior-Verteilung konvergiert, vorausgesetzt, die Kette ist irreduzibel und aperiodisch.

Optimale Skalierung

Für Random-Walk-Vorschläge in hoher Dimension gleicht die Abstimmung der Schrittweite auf eine Akzeptanzrate nahe einem Viertel die Exploration mit der Ablehnung aus, ein Ergebnis der Diffusionsgrenzanalyse des Samplers.

Clinical relevance

Metropolis-Hastings ist der allgemeine Motor für das Sampling von Posterior-Verteilungen in Modellen ohne konjugierte Struktur und wird in der statistischen Genetik, Bildanalyse und den physikalischen Wissenschaften eingesetzt.

History

Der Algorithmus wurde 1953 von Metropolis und den Rosenbluths und Tellers für Simulationen in der statistischen Physik eingeführt; Hastings verallgemeinerte ihn 1970 auf beliebige Vorschläge und statistische Ziele, wonach er zum Eckpfeiler von MCMC wurde.

Key figures

• Nicholas Metropolis
• Marshall Rosenbluth
• Arianna Rosenbluth
• W. Keith Hastings

Seminal works

• metropolis1953
• hastings1970

Frequently asked questions

Welche Akzeptanzrate sollte angestrebt werden?

Für hochdimensionale Random-Walk-Vorschläge ist eine Akzeptanzrate von etwa 20-25 % oft nahezu optimal, während für eindimensionale oder Independence-Vorschläge höhere Raten angemessen sein können; das Ziel ist eine effiziente Exploration, nicht eine bestimmte Rate an sich.