Posterior Predictive Checks

Posterior Predictive Checks bewerten die absolute Modellanpassung, indem sie die beobachteten Daten mit aus dem angepassten Modell simulierten Daten vergleichen.

Definition

Ein Posterior Predictive Check generiert replizierte Daten aus der posterioren prädiktiven Verteilung eines angepassten Modells und vergleicht Merkmale dieser Replikationen mit denselben Merkmalen der beobachteten Daten, wobei systematische Diskrepanzen als Beleg für eine Modellfehlanpassung identifiziert werden.

Scope

Dieses Thema behandelt die Simulation replizierter Datensätze aus der posterioren prädiktiven Verteilung, die Verwendung von Testgrößen und Diskrepanzmaßen, grafische Überprüfungen und posteriore prädiktive p-Werte sowie deren Interpretation als Selbstkonsistenzprüfung und nicht als Hypothesentest.

Core questions

• Wie werden replizierte Datensätze aus der posterioren prädiktiven Verteilung gezogen?
• Was sind Testgrößen und Diskrepanzmaße, und wie werden sie ausgewählt?
• Wie wird ein posteriorer prädiktiver p-Wert berechnet und interpretiert?
• Warum ist die posteriore prädiktive Überprüfung eine Anpassungsprüfung und keine Modellselektionsregel?

Key concepts

• posteriore prädiktive Verteilung
• replizierte Daten
• Testgröße
• Diskrepanzmaß
• posteriorer prädiktiver p-Wert
• grafische Modellprüfung

Key theories

Vergleich replizierter Daten

Wenn ein Modell passt, sollten die daraus simulierten Daten den beobachteten Daten in relevanten Aspekten ähneln; systematische Unterschiede in ausgewählten Testgrößen zeigen, wo das Modell versagt.

Posteriore prädiktive p-Werte

Der posteriore prädiktive p-Wert ist die Wahrscheinlichkeit, dass ein Diskrepanzmaß für replizierte Daten das für die beobachteten Daten übersteigt; er ist ein grafisches und diagnostisches Werkzeug, konservativ und kein kalibrierter frequentistischer Test.

Clinical relevance

Posterior Predictive Checks ermöglichen es Analysten, wichtige Modellfehlanpassungen zu erkennen, bevor Schlussfolgerungen gezogen werden. Dies ist in jeder angewandten Bayes'schen Analyse von Bedeutung, bei der ein unzureichendes Modell zu Fehlentscheidungen führen könnte.

History

Rubin schlug 1984 die Bayes'sche prädiktive Überprüfung vor; Gelman, Meng und Stern erweiterten diese 1996 um realisierte Diskrepanzen, die von Parametern abhängen. Der Ansatz ist zu einer Standardpraxis in angewandten Bayes'schen Arbeitsabläufen geworden, oft mittels grafischer Überprüfungen.

Debates

Doppelte Verwendung der Daten

Da dieselben Daten sowohl das angepasste Modell als auch die Überprüfung informieren, sind posteriore prädiktive p-Werte konservativ und unter der Nullhypothese nicht gleichmäßig verteilt, was Alternativen wie kreuzvalidierte Überprüfungen nahelegt.

Key figures

• Donald Rubin
• Andrew Gelman
• Xiao-Li Meng
• Hal Stern

Seminal works

• gelman1996
• rubin1984

Frequently asked questions

Bedeutet ein posteriorer prädiktiver p-Wert nahe 0,5, dass mein Modell korrekt ist?

Nein. Posteriore prädiktive Überprüfungen können Fehlanpassungen in den von Ihnen getesteten Merkmalen aufdecken, können aber nicht bestätigen, dass ein Modell korrekt ist; ein nicht-extremer p-Wert bedeutet lediglich, dass das Modell durch diese spezielle Testgröße nicht widerlegt wird.