Große Abweichungen

Die Theorie der großen Abweichungen misst, wie unwahrscheinlich seltene Ereignisse sind, und zeigt, dass die Wahrscheinlichkeit, dass ein Stichprobenmittelwert weit von seinem Mittelwert abweicht, exponentiell schnell abnimmt, und zwar mit einer Rate, die durch eine konvexe Ratenfunktion festgelegt ist.

Definition

Ein Prinzip der großen Abweichungen quantifiziert die exponentielle Rate, mit der die Wahrscheinlichkeit eines seltenen Ereignisses abnimmt, wenn ein Skalierungsparameter wächst, und zwar durch eine unterhalbstetige Ratenfunktion, die jedem Ergebnis die exponentiellen Kosten seiner Beobachtung zuweist.

Scope

Das Thema umfasst das Prinzip der großen Abweichungen mit seiner Ratenfunktion und guten Ratenfunktionen, Cramérs Theorem für Summen unabhängiger Variablen, ausgedrückt durch die Legendre-Transformation der kumulantenerzeugenden Funktion, das Gärtner-Ellis-Theorem für abhängige Sequenzen, Sanovs Theorem für empirische Maße, das Kontraktionsprinzip und Varadhans Integral-Lemma.

Core questions

• Wie schnell nimmt die Wahrscheinlichkeit eines Stichprobenmittelwerts, der weit von seinem Mittelwert entfernt ist, ab?
• Was ist die Ratenfunktion und wie wird sie aus der zugrunde liegenden Verteilung berechnet?
• Wie transformieren sich Prinzipien großer Abweichungen unter kontinuierlichen Abbildungen und Integralen?
• Wie erweitert sich die Theorie von unabhängigen Summen auf empirische Maße und abhängige Prozesse?

Key concepts

• Prinzip der großen Abweichungen
• Ratenfunktion
• Cramérs Theorem
• Legendre-Transformation
• Kontraktionsprinzip

Key theories

Cramérs Theorem

Für Summen unabhängiger, identisch verteilter Variablen erfüllt der empirische Mittelwert ein Prinzip der großen Abweichungen, dessen Ratenfunktion die Legendre-Transformation der kumulantenerzeugenden Funktion ist, was die exakte exponentielle Abnahmerate für atypische Mittelwerte angibt.

Varadhans Integral-Lemma

Exponentielle Integrale gegen eine Sequenz, die ein Prinzip der großen Abweichungen erfüllt, werden asymptotisch durch eine Variationsformel bestimmt, die den Integranden gegen die Ratenfunktion ausgleicht, das Analogon der großen Abweichungen zur Laplace-Methode und der Weg zu Freie-Energie-Berechnungen.

Kontraktionsprinzip

Wenn eine Sequenz einem Prinzip der großen Abweichungen gehorcht und durch eine kontinuierliche Funktion abgebildet wird, gehorcht das Bild einem Prinzip der großen Abweichungen, dessen Ratenfunktion durch Minimierung der ursprünglichen Ratenfunktion über Urbilder erhalten wird, wodurch Raten über Variablenänderungen übertragen werden.

Clinical relevance

Raten großer Abweichungen quantifizieren die Wahrscheinlichkeit seltener, aber folgenreicher Ereignisse: Sie begrenzen Pufferüberlauf- und Paketverlustwahrscheinlichkeiten in Kommunikationsnetzwerken, Ruinwahrscheinlichkeiten in der Versicherung, Fehler-Exponenten in der Informationstheorie und metastabile Übergangsraten in der statistischen Physik und chemischen Kinetik.

History

Cramér erhielt 1938 die exponentielle Rate für Summen unabhängiger Variablen. Varadhan formulierte in den 1960er Jahren das abstrakte Prinzip der großen Abweichungen und entwickelte dessen Kalkül, eine Arbeit, die mit dem Abel-Preis gewürdigt wurde, und Freidlin und Wentzell erweiterten die Theorie auf dynamische Systeme mit geringem Rauschen.

Key figures

• Harald Cramer
• S. R. Srinivasa Varadhan
• Mark Freidlin
• Alexander Wentzell

Seminal works

• dembo1998
• varadhan1984

Frequently asked questions

Wie geht die Theorie der großen Abweichungen über den zentralen Grenzwertsatz hinaus?

Der zentrale Grenzwertsatz beschreibt typische Fluktuationen im Bereich von eins geteilt durch die Quadratwurzel der Stichprobengröße, während die Theorie der großen Abweichungen atypische Fluktuationen der Ordnung eins beschreibt, deren Wahrscheinlichkeiten exponentiell klein sind und eher durch die Ratenfunktion als durch die Gaußsche Verteilung bestimmt werden.

Was ist eine Ratenfunktion?

Es ist die nicht-negative Funktion, deren Wert an einem Punkt die exponentielle Abnahmerate der Wahrscheinlichkeit angibt, sich in der Nähe dieses Punktes zu befinden; sie verschwindet am typischen Wert und wächst, wenn Ergebnisse seltener werden, so dass ihre Minimierung den wahrscheinlichsten Weg identifiziert, wie ein seltenes Ereignis eintritt.