Bayes-Theorem und die Posterior-Verteilung
Das Bayes-Theorem drückt die Posterior-Verteilung unbekannter Parameter als proportional zur Likelihood der Daten multipliziert mit der Prior-Verteilung aus und bildet den Kern jeder Bayes'schen Inferenz.
Definition
Das Bayes-Theorem besagt, dass die Posterior-Dichte p(theta | y) gleich der Likelihood p(y | theta) multipliziert mit der Prior-Verteilung p(theta) geteilt durch die marginale Likelihood p(y) ist; da p(y) nicht von theta abhängt, wird die Posterior-Verteilung oft als proportional zur Likelihood multipliziert mit der Prior-Verteilung geschrieben.
Scope
Dieses Thema behandelt die Formulierung und Ableitung des Bayes-Theorems für die Inferenz, die Proportionalitätsform, die marginale Likelihood, die die Posterior-Verteilung normalisiert, und wie Zusammenfassungen wie Posterior-Mittelwerte, Kredibilitätsintervalle und die Posterior-Prädiktionsverteilung erhalten werden.
Core questions
- Wie wird die Posterior-Verteilung aus der Prior-Verteilung und der Likelihood abgeleitet?
- Was ist die marginale Likelihood und warum fungiert sie als Normalisierungskonstante?
- Wie werden Punktschätzungen und Kredibilitätsintervalle aus einer Posterior-Verteilung extrahiert?
- Was ist die Posterior-Prädiktionsverteilung und wie wird sie berechnet?
Key concepts
- Prior-Verteilung
- Likelihood
- Posterior-Verteilung
- marginale Likelihood
- Kredibilitätsintervall
- Posterior-Prädiktionsverteilung
- Normalisierungskonstante
Key theories
- Posterior-Proportionalität
- Da die marginale Likelihood bezüglich des Parameters konstant ist, hängt die Inferenz nur vom Produkt aus Likelihood und Prior-Verteilung bis zur Normalisierung ab, was die Form ist, die von den meisten Berechnungsmethoden genutzt wird.
- Posterior-Prädiktionsverteilung
- Zukünftige oder replizierte Daten werden durch Mittelung der Stichprobenverteilung über die Posterior-Verteilung vorhergesagt, wobei die Parameterunsicherheit integriert wird, anstatt einen Punktschätzer einzusetzen.
Clinical relevance
Die Posterior-Inferenz wird überall dort eingesetzt, wo eine interessierende Größe mit kalibrierter Unsicherheit geschätzt werden muss, einschließlich der Interpretation diagnostischer Tests, der Parameterschätzung in den Naturwissenschaften und der probabilistischen Vorhersage.
History
Die Regel geht auf Bayes' Essay von 1763 zurück und wurde von Laplace zur Methode der inversen Wahrscheinlichkeit verallgemeinert. Die moderne Betonung der vollständigen Posterior-Verteilung, anstatt einer einzelnen Invers-Wahrscheinlichkeits-Schätzung, wurde in der Bayes'schen Literatur des 20. Jahrhunderts gefestigt.
Key figures
- Thomas Bayes
- Pierre-Simon Laplace
- Harold Jeffreys
Related topics
Seminal works
- gelman2013
- bayes1763
Frequently asked questions
- Was ist ein Kredibilitätsintervall?
- Ein Kredibilitätsintervall ist ein Bereich, der den Parameter mit einer angegebenen Posterior-Wahrscheinlichkeit (z. B. 95 %) enthält; im Gegensatz zu einem frequentistischen Konfidenzintervall ist es eine direkte Wahrscheinlichkeitsaussage über den Parameter, gegeben die Daten und die Prior-Verteilung.
- Warum kann die Posterior-Verteilung geschrieben werden, ohne die marginale Likelihood zu berechnen?
- Die marginale Likelihood ist eine Konstante in Bezug auf den Parameter, sodass sie die Posterior-Verteilung nur umskaliert; viele Algorithmen wie MCMC benötigen die Posterior-Verteilung nur bis auf diese Konstante.