Importance Sampling

Importance Sampling schätzt eine Erwartung unter einer Zielverteilung, indem es Stichproben aus einer anderen, bequemeren Vorschlagsverteilung zieht und jede Stichprobe mit einem Gewicht korrigiert, das dem Verhältnis von Ziel- zu Vorschlagsdichte entspricht.

Definition

Importance Sampling ist eine Monte-Carlo-Technik, die die Erwartung einer Funktion unter einer Zieldichte schätzt, indem sie die Funktion multipliziert mit einem Importance-Gewicht über Stichproben mittelt, die aus einer Vorschlagsdichte gezogen wurden.

Scope

Dieses Thema behandelt die Importance-Sampling-Identität und den daraus resultierenden gewichteten Schätzer, die Wahl des Vorschlags und dessen Auswirkung auf die Gewichtsvarianz, den selbstnormalisierten Schätzer, der verwendet wird, wenn Dichten nur bis auf eine Konstante bekannt sind, die diagnostische Rolle der effektiven Stichprobengröße und die Pathologien von Heavy-Tailed-Gewichten. Es besteht ein Zusammenhang mit der Varianzreduktion und den Partikelmethoden.

Core questions

• Wie stellt die Neubewertung von Stichproben aus einem Vorschlag eine Erwartung unter dem Ziel wieder her?
• Welche Wahl des Vorschlags minimiert die Varianz des Importance-Sampling-Schätzers?
• Wie wird selbstnormalisiertes Importance Sampling verwendet, wenn nur unnormalisierte Dichten verfügbar sind?
• Wie diagnostiziert die effektive Stichprobengröße die Gewichtsdegeneration?

Key concepts

• Importance-Gewichte
• Vorschlagsverteilung
• Selbstnormalisierter Schätzer
• Effektive Stichprobengröße
• Gewichtsdegeneration

Key theories

Importance-Sampling-Identität

Eine Erwartung unter dem Ziel entspricht der Erwartung unter dem Vorschlag der Funktion multipliziert mit dem Dichteverhältnis, sodass der gewichtete Stichprobenmittelwert die Zielerwartung unverzerrt schätzt, wenn der Vorschlag den Support des Ziels abdeckt.

Optimaler Vorschlag und Gewichtsvarianz

Die Varianz des Schätzers wird durch einen Vorschlag minimiert, der proportional zum absoluten Integranden ist, und in der Praxis erzeugen nicht übereinstimmende oder leichtschwänzige Vorschläge einige dominante Gewichte, die die Varianz erhöhen, gemessen an einer geringen effektiven Stichprobengröße.

Clinical relevance

Importance Sampling ermöglicht die Schätzung von Wahrscheinlichkeiten seltener Ereignisse, marginalen Wahrscheinlichkeiten und posterioren Erwartungen, erlaubt die Wiederverwendung einer einzelnen Stichprobe zur Bewertung vieler verwandter Ziele und ist die Grundlage für sequentielle Monte-Carlo- (Partikel-) Filter, die in Zustandsraum- und Zeitreihenmodellen verwendet werden.

History

Importance Sampling entstand im Rahmen der Monte-Carlo-Praxis Mitte des 20. Jahrhunderts als Varianzreduktionsmethode und wurde später von Statistikern zu selbstnormalisierten und adaptiven Formen weiterentwickelt, wodurch es zu einem Kernbestandteil der sequentiellen Monte Carlo und der modernen Bayes'schen Berechnung wurde.

Key figures

• Christian P. Robert
• George Casella
• Geneva Hoeting

Seminal works

• robert2004
• givens2013

Frequently asked questions

Warum sollte man eine Vorschlagsverteilung verwenden, anstatt das Ziel direkt abzutasten?

Oft kann das Ziel nicht einfach abgetastet werden, oder man möchte die Ziehungen in einem wichtigen Bereich konzentrieren, wie z. B. einem seltenen Ereignisschwanz. Importance Sampling ermöglicht es, eine bequeme Verteilung abzutasten und die Diskrepanz mit Gewichten zu korrigieren.

Was passiert, wenn der Vorschlag schlecht gewählt wird?

Wenn der Vorschlag leichtere Enden als das Ziel hat, erhalten einige Stichproben enorme Gewichte und dominieren die Schätzung, was zu einer hohen oder sogar unendlichen Varianz führt. Die Diagnose der effektiven Stichprobengröße weist auf diese Degeneration hin.