Hyperpriors und Shrinkage

Hyperpriors sind die Priors, die auf die Parameter der obersten Ebene eines hierarchischen Modells angewendet werden, und sie steuern, wie stark Gruppenschätzungen in Richtung des Populationsmittelwerts geschrumpft werden.

Definition

Ein Hyperprior ist eine Prior-Verteilung für die Hyperparameter, die die Verteilung der Parameter auf Gruppenebene steuern; zusammen mit den Daten bestimmt er die Posterior-Verteilung für die Varianz auf Gruppenebene und somit den Grad der Shrinkage, der auf jede Gruppe angewendet wird.

Scope

Dieses Thema behandelt die Spezifikation von Priors für hierarchische Mittelwerte und insbesondere Varianzkomponenten, die Art und Weise, wie die Varianz auf Gruppenebene die Shrinkage steuert, die Gefahr degenerierter Posterior-Verteilungen durch schlechte Varianz-Priors und empfohlene schwach informative Optionen wie Half-Cauchy- und Half-Normal-Priors.

Core questions

• Warum steuert die Varianz auf Gruppenebene das Ausmaß der Shrinkage?
• Was geht schief, wenn ein ungeeigneter Prior für eine Varianzkomponente verwendet wird?
• Welche schwach informativen Hyperpriors werden für Skalenparameter empfohlen?
• Wie hängt Shrinkage mit den Stein- und empirischen Bayes-Ergebnissen zusammen?

Key concepts

• Hyperprior
• Varianzkomponente
• Half-Cauchy-Prior
• Inverse-Gamma-Prior
• Shrinkage
• James-Stein-Schätzer
• degenerierte Posterior-Verteilung

Key theories

Varianzkomponenten-Priors

Der Hyperprior für die Standardabweichung auf Gruppenebene beeinflusst die Inferenz stark, wenn nur wenige Gruppen vorhanden sind; gefaltete nicht-zentrale und Half-Cauchy-Priors vermeiden die Pathologien konventioneller Inverse-Gamma-Optionen.

Shrinkage als Risikoreduktion

Das Schrumpfen vieler verwandter Schätzungen in Richtung eines gemeinsamen Zentrums senkt den gesamten mittleren quadratischen Fehler, das gleiche Prinzip, das den James-Stein-Schätzer gegenüber dem Stichprobenmittelwert dominieren lässt.

Clinical relevance

Sinnvolle Hyperpriors verhindern übermäßig selbstbewusste oder instabile Schätzungen der Zwischengruppenvariation in Metaanalysen und Multi-Center-Studien, wo die Anzahl der Gruppen oft gering ist und die Varianz schwer zu schätzen ist.

History

Die Shrinkage-Schätzung entwickelte sich aus Steins Ergebnis von 1956 und der empirischen Bayes-Arbeit von Efron und Morris in den 1970er Jahren. Gelmans Analyse der Varianzparameter-Priors aus dem Jahr 2006 verdeutlichte, wie die Wahl des Hyperpriors die Shrinkage in vollständig Bayes'schen hierarchischen Modellen beeinflusst.

Debates

Welcher Prior für die Varianz auf Gruppenebene?

Konventionelle Inverse-Gamma-Priors können unbeabsichtigt informativ nahe Null sein, daher gibt es eine fortlaufende Diskussion über Half-Cauchy-, Half-Normal- und andere schwach informative Skalen-Priors.

Key figures

• Andrew Gelman
• Bradley Efron
• Carl Morris
• Charles Stein

Seminal works

• gelman2006
• efron1975

Frequently asked questions

Warum nicht einfach einen flachen Prior für die Varianz auf Gruppenebene verwenden?

Ein flacher oder standardmäßiger Inverse-Gamma-Prior kann übermäßiges Gewicht nahe Null platzieren oder nicht proper sein, was zu kollabierten oder instabilen Posterior-Verteilungen führt, wenn nur wenige Gruppen vorhanden sind; schwach informative Skalen-Priors wie der Half-Cauchy verhalten sich zuverlässiger.