Bayes- und Shrinkage-Schätzung

Bayes-Schätzer verbinden Vorwissen mit Daten, um das durchschnittliche Risiko zu minimieren, und Shrinkage-Schätzer nutzen die überraschende Tatsache, dass das Ziehen von Schätzungen zu einem Zentrum hin den offensichtlichen Schätzer dominieren kann.

Definition

Ein Bayes-Schätzer minimiert den erwarteten Verlust, gemittelt über eine Prior-Verteilung des Parameters; ein Shrinkage-Schätzer verzerrt eine Schätzung bewusst in Richtung eines festen Punktes oder eines gemeinsamen Mittelwerts, um seinen mittleren quadratischen Gesamtfehler zu reduzieren.

Scope

Dieses Thema behandelt Prior-Verteilungen und die Posterior-Verteilung, Bayes-Schätzer als Posterior-Mittelwerte unter quadratischem Fehlerverlust und anderen Verlustfunktionen, die Beziehung zwischen Bayes-Risiko und frequentistischem Risiko, den James-Stein-Schätzer und Steins Paradoxon der Inadmissibilität in drei oder mehr Dimensionen, empirische Bayes- und hierarchische Shrinkage sowie den Bias-Varianz-Kompromiss, der die Shrinkage vorteilhaft macht.

Core questions

• Wie wird ein Bayes-Schätzer aus der Posterior-Verteilung unter einer gegebenen Verlustfunktion abgeleitet?
• Warum dominiert der James-Stein-Schätzer den Stichprobenmittelwert in drei oder mehr Dimensionen?
• Wie nutzt empirische Bayes Informationen aus verwandten Schätzproblemen?
• Wann zahlt sich der durch Shrinkage eingeführte Bias durch ein reduziertes Risiko aus?

Key theories

Bayes-Schätzer und Posterior-Erwartungswert

Unter quadratischem Fehlerverlust ist der Bayes-Schätzer der Posterior-Mittelwert; bei anderen Verlustfunktionen ist er die entsprechende Posterior-Zusammenfassung und minimiert das Bayes-Risiko, gemittelt über die Prior-Verteilung.

Steins Paradoxon und der James-Stein-Schätzer

Bei der gleichzeitigen Schätzung von drei oder mehr Mittelwerten ist der Stichprobenmittelwert unter quadratischem Fehlerverlust inadmissibel, und der James-Stein-Schätzer, der zu einem gemeinsamen Punkt schrumpft, weist ein gleichmäßig kleineres Risiko auf.

Clinical relevance

Shrinkage- und empirische Bayes-Schätzer verbessern die Genauigkeit, wenn viele verwandte Größen gleichzeitig geschätzt werden, wie bei der Small-Area-Schätzung, Sport- und Bildungsrankings, Genomik sowie Ridge- und regularisierter Regression, wo die Bündelung von Informationen über Einheiten hinweg besser ist, als jede Einheit isoliert zu behandeln.

History

Stein zeigte 1956, dass der übliche Schätzer eines multivariaten Normalmittelwerts in drei oder mehr Dimensionen inadmissibel ist, und James und Stein zeigten 1961 einen dominierenden Schätzer. Efron und Morris formulierten das Ergebnis in den 1970er Jahren durch empirische Bayes neu, wodurch Shrinkage zu einem praktischen Werkzeug wurde.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Warum sollte ein verzerrter Schätzer jemals bevorzugt werden?

Weil der mittlere quadratische Fehler Bias und Varianz kombiniert; ein kleiner Bias, der eine große Reduzierung der Varianz bewirkt, kann den Gesamtfehler senken, was genau das ist, was Shrinkage-Schätzer ausnutzen.

Ist Steins Paradoxon wirklich ein Paradoxon?

Es ist eher überraschend als widersprüchlich: Es zeigt, dass die Schätzung mehrerer unabhängiger Mittelwerte durch deren gemeinsame Schrumpfung verbessert wird, da das kombinierte Risiko und nicht jede einzelne Schätzung reduziert wird.