Konjugierte Prioren

Ein konjugierter Prior hält die Posteriorverteilung in derselben Verteilungsfamilie wie der Prior, wodurch die Bayes'sche Aktualisierung zu einer einfachen Aktualisierung der Parameter der Familie wird.

Definition

Eine Familie von Prioren ist konjugiert zu einer gegebenen Likelihood, wenn für beliebige Daten die resultierende Posteriorverteilung derselben Familie angehört; die Posteriorverteilung wird durch die Aktualisierung der Hyperparameter der Familie in geschlossener Form erhalten.

Scope

Dieses Thema behandelt die Definition von Konjugation, die Standard-Konjugatpaare (Beta-Binomial, Gamma-Poisson, Normal-Normal, Normal-Inverse-Gamma, Dirichlet-Multinomial), die Verbindung zu Exponentialfamilien und die Interpretation von Priorparametern als Pseudozählungen oder Stichprobengröße des Priors.

Core questions

• Was bedeutet es, wenn ein Prior zu einer Likelihood konjugiert ist?
• Welche Konjugatpaare ergeben sich für die gängigen Modelle der Exponentialfamilie?
• Wie wirken konjugierte Hyperparameter als Pseudo-Daten des Priors?
• Warum folgt die Konjugation aus der Struktur von Exponentialfamilien?

Key concepts

• konjugierter Prior
• Beta-Binomial
• Gamma-Poisson
• Normal-Normal
• Dirichlet-Multinomial
• Exponentialfamilie
• Hyperparameter
• Pseudo-Zählungen des Priors

Key theories

Konjugation der Exponentialfamilie

Diaconis und Ylvisaker charakterisierten konjugierte Prioren für Likelihoods der Exponentialfamilie und zeigten, dass sie posteriore Erwartungswerte implizieren, die linear in den suffizienten Statistiken sind.

Prior als Pseudo-Daten

Konjugierte Hyperparameter können als Zählungen und Summen eines imaginären Prior-Datensatzes gelesen werden, sodass die Posteriorverteilung reale und Pseudo-Beobachtungen des Priors additiv kombiniert.

Clinical relevance

Konjugierte Modelle ermöglichen schnelle, transparente Aktualisierungen, die häufig zur Schätzung von Proportionen und Raten, zur adaptiven Randomisierung und als Bausteine in größeren stichprobenbasierten Analysen verwendet werden.

History

Raiffa und Schlaifer systematisierten 1961 die konjugierte Analyse für Entscheidungsprobleme; Diaconis und Ylvisaker gaben 1979 die allgemeine Charakterisierung für Exponentialfamilien. Die Konjugation bleibt als Komponente in modernen Berechnungsschemata wie dem Gibbs-Sampling von zentraler Bedeutung.

Key figures

• Howard Raiffa
• Robert Schlaifer
• Persi Diaconis

Seminal works

• diaconis1979
• gelman2013

Frequently asked questions

Warum sollte man konjugierte Prioren verwenden, wenn Computer mit jedem Prior umgehen können?

Konjugierte Prioren liefern exakte geschlossene Posteriorverteilungen, die schnell und interpretierbar sind, und sie dienen oft als vollständige bedingte Aktualisierungen innerhalb von Gibbs-Samplern, selbst wenn das Gesamtmodell nicht konjugiert ist.