Unverzerrte Schätzung und die Cramer-Rao-Grenze

Unter den Schätzern, die im Durchschnitt korrekt sind, setzt die Cramer-Rao-Ungleichung eine Untergrenze für die Varianz, und die Sätze von Rao-Blackwell und Lehmann-Scheffe zeigen, wie diese erreicht werden kann.

Definition

Ein Schätzer ist unverzerrt, wenn sein Erwartungswert für jeden Parameterwert dem Parameter entspricht; die Cramer-Rao-Grenze besagt, dass die Varianz jedes unverzerrten Schätzers mindestens dem Kehrwert der Fisher-Information entspricht.

Scope

Dieses Thema behandelt die Unverzerrtheit und ihre Grenzen, die Fisher-Information für einen und mehrere Parameter, die untere Cramer-Rao-Grenze für die Varianz eines unverzerrten Schätzers, die Bedingungen für das Erreichen der Grenze, den Rao-Blackwell-Satz zur Verbesserung eines Schätzers durch Konditionierung auf eine suffiziente Statistik sowie den Lehmann-Scheffe-Satz, der den eindeutigen unverzerrten Schätzer mit minimaler Varianz mittels vollständiger suffizienter Statistiken identifiziert.

Core questions

• Was ist die Fisher-Information, und wie quantifiziert sie die in den Daten verfügbare Präzision?
• Warum kann kein unverzerrter Schätzer eine Varianz unterhalb der Cramer-Rao-Grenze aufweisen, und wann wird die Grenze erreicht?
• Wie reduziert die Konditionierung auf eine suffiziente Statistik mittels Rao-Blackwell die Varianz?
• Wie identifizieren Vollständigkeit und Suffizienz zusammen, mittels Lehmann-Scheffe, den besten unverzerrten Schätzer?

Key theories

Cramer-Rao-Informationsungleichung

Unter Regularitätsbedingungen ist die Varianz eines unverzerrten Schätzers nach unten durch den Kehrwert der Fisher-Information begrenzt, wobei die Effizienz als Erreichen dieser Grenze definiert wird.

Rao-Blackwell- und Lehmann-Scheffe-Sätze

Die Konditionierung eines unverzerrten Schätzers auf eine suffiziente Statistik erhöht niemals seine Varianz; ist diese Statistik auch vollständig, so ist das Ergebnis der eindeutige unverzerrte Schätzer mit minimaler Varianz.

Clinical relevance

Die Cramer-Rao-Grenze und die Fisher-Information legen die grundlegende Präzisionsgrenze eines Experiments fest und leiten das optimale experimentelle Design und die Sensorkalibrierung an, während unverzerrte Schätzer mit minimaler Varianz Referenzschätzungen liefern, mit denen praktische Verfahren verglichen werden.

History

Cramer und Rao etablierten die Varianzgrenze um 1945 unabhängig voneinander. Die Verbesserung durch Konditionierung von Rao und Blackwell sowie der Eindeutigkeitssatz von Lehmann und Scheffe folgten in den späten 1940er und frühen 1950er Jahren und vervollständigten die klassische Theorie der unverzerrten Schätzung.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

Ist die Cramer-Rao-Grenze immer erreichbar?

Nein. Sie wird nur in speziellen Fällen erreicht, hauptsächlich bei Exponentialfamilien; im Allgemeinen kann der unverzerrte Schätzer mit minimaler Varianz eine Varianz aufweisen, die streng über der Grenze liegt.

Was misst die Fisher-Information?

Sie misst, wie stark die Likelihood auf Parameteränderungen reagiert und somit, wie viele Informationen die Daten über den Parameter enthalten; eine größere Fisher-Information ermöglicht eine präzisere Schätzung.