Monte-Carlo-Methoden
Monte-Carlo-Methoden nähern Integrale, Erwartungswerte und Wahrscheinlichkeiten durch Mittelung über simulierte Zufallsziehungen an, wobei unlösbare analytische Berechnungen durch das Gesetz der großen Zahlen ersetzt werden, das auf einen Strom von Stichproben angewendet wird.
Definition
Monte-Carlo-Methoden sind rechnerische Techniken, die eine deterministische Größe, typischerweise ein Integral oder einen Erwartungswert, als Durchschnitt einer Funktion schätzen, die an Stichproben ausgewertet wird, die aus einer geeigneten Wahrscheinlichkeitsverteilung gezogen wurden.
Scope
Dieser Bereich umfasst die einfache Monte-Carlo-Schätzung von Integralen und Erwartungswerten, das Importance Sampling als Reweighting-Strategie und Markov-Chain-Monte-Carlo zur Stichprobenziehung aus komplexen hochdimensionalen Verteilungen, einschließlich des Gibbs-Samplers. Es behandelt die statistische Theorie dieser Schätzer (Konsistenz, Fehlerraten, effektive Stichprobengröße) und nicht physikspezifische Simulationsmodelle.
Sub-topics
Core questions
- Wie schätzt die Mittelung über Zufallsstichproben ein Integral, und mit welcher Rate nimmt der Fehler ab?
- Wie kann die Stichprobenziehung aus einer Verteilung Erwartungswerte unter einer anderen schätzen?
- Wie kann eine Markow-Kette konstruiert werden, sodass ihre stationäre Verteilung das Ziel von Interesse ist?
- Wie wird die Genauigkeit einer Monte-Carlo-Schätzung quantifiziert, wenn die Ziehungen voneinander abhängig sind?
Key theories
- Monte-Carlo-Schätzung
- Nach dem Gesetz der großen Zahlen konvergiert der Stichprobenmittelwert einer Funktion, die an unabhängigen Ziehungen ausgewertet wird, gegen ihren Erwartungswert, und der zentrale Grenzwertsatz liefert eine Wurzel-n-Fehlerrate, die unabhängig von der Dimension ist.
- Markov-Chain-Monte-Carlo
- Die Konstruktion einer Markow-Kette, deren invariante Verteilung das Ziel ist, ermöglicht die Stichprobenziehung aus Verteilungen, die nur bis auf eine Konstante bekannt sind, wobei ergodische Mittelwerte der Kette Erwartungswerte schätzen.
- Maßwechsel mittels Importance Sampling
- Das Ziehen aus einem handhabbaren Vorschlag und die Neubewertung durch das Verhältnis von Ziel- zu Vorschlagsdichte liefert unverzerrte Schätzungen von Erwartungswerten unter dem Ziel, wobei die Effizienz durch die Varianz der Gewichte bestimmt wird.
Clinical relevance
Monte-Carlo-Methoden sind der Rechenkern der modernen Statistik: Sie bewerten Bayes'sche Posterior-Verteilungen, integrieren latente Variablen aus, propagieren Unsicherheiten durch komplexe Modelle und schätzen p-Werte und Risiken in Situationen, in denen keine geschlossenen Lösungen existieren, mit Anwendungen in Physik, Genetik, Finanzwesen und Epidemiologie.
History
Monte-Carlo-Methoden entstanden in den 1940er Jahren bei nuklearphysikalischen Berechnungen in Los Alamos und wurden nach dem Casino benannt; der Metropolis-Algorithmus folgte 1953, Hastings verallgemeinerte ihn 1970, und die Wiederentdeckung des Gibbs-Samplings durch Statistiker in den 1990er Jahren machte Markov-Chain-Monte-Carlo zum dominierenden Werkzeug der computergestützten Bayes'schen Statistik.
Key figures
- Nicholas Metropolis
- Stanislaw Ulam
- Christian P. Robert
- Andrew Gelman
Related topics
Seminal works
- robert2004
- metropolis1949
Frequently asked questions
- Warum wächst der Monte-Carlo-Fehler nicht mit der Dimension?
- Der Standardfehler eines einfachen Monte-Carlo-Mittelwerts schrumpft wie eins geteilt durch die Quadratwurzel der Anzahl der Ziehungen, unabhängig von der Dimension des Integrals. Diese Dimensionsunabhängigkeit ist der Grund, warum Monte-Carlo bei hochdimensionalen Problemen oft besser abschneidet als gitterbasierte Quadraturverfahren.
- Was ist der Unterschied zwischen einfachem Monte-Carlo und Markov-Chain-Monte-Carlo?
- Einfaches Monte-Carlo verwendet unabhängige Ziehungen aus der Zielverteilung. Markov-Chain-Monte-Carlo simuliert stattdessen eine abhängige Sequenz, deren Langzeitverteilung das Ziel ist, was es ermöglicht, Stichproben aus Verteilungen zu ziehen, die nicht direkt gezogen werden können.