Prädiktive Informationskriterien

Prädiktive Informationskriterien schätzen die erwartete Out-of-Sample-Genauigkeit eines Modells anhand seiner Posterior-Verteilung und bieten eine prädiktionsorientierte Alternative zu Bayes-Faktoren für den Modellvergleich.

Definition

Prädiktive Informationskriterien sind Schätzungen der erwarteten log-prädiktiven Dichte eines Modells auf neuen Daten, berechnet aus Posterior-Stichproben und korrigiert für Overfitting durch eine Strafe für effektive Parameter, die zur Rangfolge von Modellen nach ihrer prädiktiven Leistung verwendet werden.

Scope

Dieses Thema behandelt das Deviance Information Criterion (DIC), das Widely Applicable Information Criterion (WAIC) und die effiziente Pareto-geglättete Importance-Sampling Leave-One-Out-Kreuzvalidierung, einschließlich der Schätzung der effektiven Anzahl von Parametern und der Approximation der erwarteten log-prädiktiven Dichte durch jedes dieser Kriterien.

Core questions

• Wie schätzen DIC, WAIC und die Leave-One-Out-Kreuzvalidierung die prädiktive Genauigkeit ein?
• Was ist die effektive Anzahl von Parametern und wie wird sie berechnet?
• Warum wird WAIC als vollständiger bayesianisch angesehen als DIC?
• Wie macht Pareto-geglättetes Importance Sampling die Leave-One-Out-Kreuzvalidierung effizient?

Key concepts

• DIC
• WAIC
• Leave-One-Out-Kreuzvalidierung
• erwartete log-prädiktive Dichte
• effektive Anzahl von Parametern
• Pareto-geglättetes Importance Sampling
• Overfitting-Strafe

Key theories

Effektive Anzahl von Parametern

Jedes Kriterium bestraft die Anpassung durch eine Schätzung der Modellkomplexität, die aus der Variabilität der Log-Likelihood über die Posterior-Verteilung abgeleitet wird, sodass eine bessere In-Sample-Anpassung nicht automatisch gewinnt.

WAIC und Kreuzvalidierungsäquivalenz

Watanabe zeigte, dass WAIC asymptotisch äquivalent zur bayesianischen Leave-One-Out-Kreuzvalidierung ist, und beide zielen direkt auf die erwartete Out-of-Sample-Log-Prädiktionsdichte unter Verwendung der vollständigen Posterior-Verteilung ab.

Clinical relevance

Prädiktive Kriterien ermöglichen es Forschern, Kandidatenmodelle für die Vorhersage in der Epidemiologie, Ökologie und den Naturwissenschaften zu vergleichen, ohne die sorgfältig abgestimmten Priors spezifizieren zu müssen, die Bayes-Faktoren erfordern.

History

Spiegelhalter und Kollegen schlugen DIC im Jahr 2002 vor; Watanabe führte WAIC aus der singulären Lerntheorie im Jahr 2010 ein. Die Arbeit von Vehtari, Gelman und Gabry aus dem Jahr 2017 zur Pareto-geglätteten Importance-Sampling Leave-One-Out-Kreuzvalidierung machte eine stabile, diagnostizierbare prädiktive Bewertung praktikabel.

Debates

Zuverlässigkeit von DIC

DIC kann bei hierarchischen und nicht-regulären Modellen schlecht funktionieren und ist nicht invariant, was viele dazu veranlasst, WAIC oder die Leave-One-Out-Kreuzvalidierung zu bevorzugen, obwohl kein einzelnes Kriterium universell das beste ist.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

Ist ein niedrigeres oder höheres Informationskriterium besser?

Diese Kriterien werden in der Regel auf einer Deviance-Skala angegeben, wobei niedrigere Werte eine bessere geschätzte Out-of-Sample-Prädiktionsgenauigkeit anzeigen; Unterschiede sollten relativ zu ihren Standardfehlern beurteilt und nicht als exakt behandelt werden.