Bayesianische Berechnung und MCMC
Die bayesianische Berechnung ermöglicht Inferenz, indem sie Stichproben aus posterioren Verteilungen zieht, die nicht in geschlossener Form ausgewertet werden können, hauptsächlich mittels Markov-Ketten-Monte-Carlo.
Definition
Bayesianische Berechnung ist die Menge numerischer Methoden zur Approximation posteriorer Verteilungen und der über sie gebildeten Erwartungswerte; Markov-Ketten-Monte-Carlo konstruiert eine Markow-Kette, deren stationäre Verteilung die Ziel-Posteriori ist, sodass ihre Stichproben für die Inferenz verwendet werden können.
Scope
Dieser Bereich umfasst die Algorithmen, die die moderne bayesianische Analyse antreiben: das Metropolis-Hastings-Framework, Gibbs-Sampling, gradientenbasiertes Hamiltonsches Monte-Carlo und deterministische Variationsapproximationen, zusammen mit den Konvergenzdiagnosen und der Monte-Carlo-Fehlerbewertung, die ihre Ergebnisse vertrauenswürdig machen.
Sub-topics
Core questions
- Wie können Stichproben aus einer Posteriori gezogen werden, die nur bis auf eine Normierungskonstante bekannt ist?
- Wie konstruieren Metropolis-Hastings und Gibbs-Sampling Ketten mit der korrekten stationären Verteilung?
- Wie ermöglicht Gradienteninformation dem Hamiltonschen Monte-Carlo, hochdimensionale Posteriori-Verteilungen effizient zu explorieren?
- Wann sind deterministische Approximationen wie die Variationsinferenz dem Sampling vorzuziehen?
- Wie wird die Konvergenz eines MCMC-Samplers diagnostiziert und der Monte-Carlo-Fehler quantifiziert?
Key concepts
- Markov-Ketten-Monte-Carlo
- stationäre Verteilung
- detailliertes Gleichgewicht
- Burn-in
- Mischung
- effektive Stichprobengröße
- Konvergenzdiagnostik
- Monte-Carlo-Standardfehler
Key theories
- Markov-Ketten-Monte-Carlo
- Durch die Konstruktion einer Markow-Kette, deren invariante Verteilung die Posteriori ist, verwandelt MCMC unlösbare Integration in das Problem der Simulation und Mittelwertbildung über eine Kette.
- Detailliertes Gleichgewicht
- Die Reversibilität bezüglich der Zielverteilung ist die standardmäßige hinreichende Bedingung, die garantiert, dass ein Sampler die Posteriori invariant lässt, und untermauert Metropolis-Hastings und Gibbs.
- Konvergenzdiagnostik
- Die praktische Inferenz stützt sich auf Diagnosen wie den potenziellen Skalenreduktionsfaktor und die effektive Stichprobengröße, um zu beurteilen, ob Ketten die stationäre Verteilung erreicht und durchmischt haben.
Clinical relevance
MCMC und verwandte Berechnungen ermöglichen die Anpassung realistischer hierarchischer und nichtlinearer Modelle in der gesamten Wissenschaft, von der Populationspharmakokinetik und Genetik bis hin zur Kosmologie und Ökologie, wo Posteriori-Verteilungen keine analytische Form haben.
History
Der Metropolis-Algorithmus (1953) und Hastings' Verallgemeinerung (1970) stammen aus der Physik; Geman und Gemans Gibbs-Sampler (1984) und Gelfand und Smiths Artikel von 1990 brachten diese Methoden in die Mainstream-Statistik und lösten die bayesianische Computerrevolution aus, die mit Hamiltonschem Monte-Carlo und Variationsmethoden fortgesetzt wird.
Debates
- Sampling versus deterministische Approximation
- MCMC bietet asymptotisch exakte Stichproben zu hohen Rechenkosten, während Variationsinferenz schnell, aber approximativ ist; der Kompromiss zwischen Genauigkeit und Skalierbarkeit bleibt ein aktives Anliegen.
Key figures
- Nicholas Metropolis
- W. Keith Hastings
- Stuart Geman
- Donald Geman
- Radford Neal
Related topics
Seminal works
- robert2004
- brooks2011
- gelman2013
Frequently asked questions
- Warum ist MCMC überhaupt notwendig?
- Für die meisten realistischen Modelle hat die Posteriori keine geschlossene Form und ihre Normierungskonstante ist ein unlösbares hochdimensionales Integral; MCMC umgeht dies, indem es Stichproben aus der Posteriori nur unter Verwendung ihrer unnormalisierten Dichte erzeugt.
- Woher weiß ich, dass ein MCMC-Lauf konvergiert ist?
- Die Konvergenz wird mit Diagnosen wie dem potenziellen Skalenreduktionsfaktor über mehrere Ketten, Trace-Plots und der effektiven Stichprobengröße bewertet, obwohl diese ein Scheitern der Konvergenz erkennen können, aber niemals die Konvergenz mit Sicherheit beweisen.