Bayesianischer Modellvergleich und Modellauswahl

Der bayesianische Modellvergleich bewertet konkurrierende Modelle danach, wie gut sie Vorhersagen treffen und wie stark die Daten sie posterior stützen, unter Verwendung von Randwahrscheinlichkeiten, prädiktiven Kriterien und Modellmittelung.

Definition

Der bayesianische Modellvergleich ist die Anwendung von Wahrscheinlichkeit zur Bewertung und Auswahl zwischen konkurrierenden Modellen, indem deren Randwahrscheinlichkeiten oder posteriore Wahrscheinlichkeiten verglichen, ihre erwartete prädiktive Genauigkeit geschätzt oder über sie proportional zu ihrer Unterstützung gemittelt wird.

Scope

Dieser Bereich umfasst Bayes-Faktoren und die Randwahrscheinlichkeit, prädiktive Informationskriterien wie WAIC und Leave-One-Out-Kreuzvalidierung, bayesianische Modellmittelung, die Modellunsicherheit berücksichtigt, und die posteriore prädiktive Überprüfung zur Beurteilung der absoluten Modellanpassung.

Sub-topics

• Bayes-Faktoren und marginale Likelihood
• Bayesianische Modellmittelung
• Posterior Predictive Checks
• Prädiktive Informationskriterien

Core questions

• Wie vergleichen Bayes-Faktoren und posteriore Modellwahrscheinlichkeiten Modelle?
• Wie wird die erwartete prädiktive Genauigkeit mittels WAIC und Kreuzvalidierung geschätzt?
• Wie geht die bayesianische Modellmittelung mit der Unsicherheit um, welches Modell korrekt ist?
• Wie bewerten posteriore prädiktive Überprüfungen, ob ein einzelnes Modell zu den Daten passt?

Key concepts

• Bayes-Faktor
• Randwahrscheinlichkeit
• WAIC
• Leave-One-Out-Kreuzvalidierung
• Bayesianische Modellmittelung
• Posteriore prädiktive Überprüfung
• Ockhams Rasiermesser
• Prädiktive Genauigkeit

Key theories

Bayes-Faktoren

Das Verhältnis der Randwahrscheinlichkeiten quantifiziert die Evidenz, die die Daten für ein Modell gegenüber einem anderen liefern, und ist die formale bayesianische Grundlage für Hypothesen- und Modellvergleiche.

Prädiktive Modellevaluation

Informationskriterien wie WAIC und effiziente Leave-One-Out-Kreuzvalidierung schätzen die Out-of-Sample-Prädiktionsgenauigkeit direkt aus posterioren Ziehungen und bieten eine vorhersageorientierte Alternative zu Bayes-Faktoren.

Clinical relevance

Der Modellvergleich leitet an, welchem wissenschaftlichen oder prädiktiven Modell in Bereichen von der Genetik bis zur Kosmologie vertraut werden sollte, und posteriore prädiktive Überprüfungen bieten eine prinzipielle Methode, um Modellfehlpassungen zu erkennen, bevor Schlussfolgerungen gezogen werden.

History

Jeffreys führte Bayes-Faktoren für Hypothesentests in den 1930er Jahren ein; Kass und Rafterys Übersicht von 1995 machte sie weithin zugänglich. Bedenken hinsichtlich der Sensitivität der Randwahrscheinlichkeit gegenüber Prioren und der Berechnung spornten prädiktive Kriterien wie DIC, WAIC und effiziente Leave-One-Out-Kreuzvalidierung an.

Debates

Bayes-Faktoren versus prädiktive Kriterien

Bayes-Faktoren hängen empfindlich vom Prior ab und können schwer zu berechnen sein, während prädiktive Kriterien die Out-of-Sample-Genauigkeit anstreben; welche zu bevorzugen ist, hängt davon ab, ob das Ziel der Nachweis einer Hypothese oder die prädiktive Leistung ist.

Key figures

• Harold Jeffreys
• Robert Kass
• Adrian Raftery
• Sumio Watanabe
• Aki Vehtari

Seminal works

• kass1995
• vehtari2017
• gelman2013

Frequently asked questions

Sollte ich Bayes-Faktoren oder ein Informationskriterium verwenden?

Verwenden Sie Bayes-Faktoren, wenn Sie ein Maß für die Evidenz einer Hypothese gegenüber einer anderen wünschen und Prioren sorgfältig spezifizieren können; verwenden Sie prädiktive Kriterien wie WAIC oder Leave-One-Out-Kreuzvalidierung, wenn das Ziel der Vergleich der erwarteten Out-of-Sample-Prädiktionsleistung ist.