Bayesianische Modellmittelung
Die bayesianische Modellmittelung berücksichtigt die Unsicherheit darüber, welches Modell korrekt ist, indem sie die Vorhersagen aller Kandidatenmodelle kombiniert, gewichtet nach deren posterioren Wahrscheinlichkeiten.
Definition
Die bayesianische Modellmittelung bildet Vorhersagen und Schlussfolgerungen, indem sie einen gewichteten Durchschnitt über eine Reihe von Kandidatenmodellen bildet, wobei die Gewichte der posterioren Wahrscheinlichkeit jedes Modells unter Berücksichtigung der Daten entsprechen, wodurch die Modellunsicherheit in die endgültige Antwort einbezogen wird.
Scope
Dieses Thema behandelt die Formulierung der Modellmittelung über einen Modellraum, posteriore Modellwahrscheinlichkeiten als Gewichte, ihren Nutzen für kalibrierte Vorhersagen unter Modellunsicherheit, die praktischen Herausforderungen großer Modellräume und prädiktive Alternativen wie Stacking.
Core questions
- Wie werden Vorhersagen über Modelle hinweg unter Verwendung posteriorer Modellwahrscheinlichkeiten gemittelt?
- Warum verbessert die Modellmittelung die prädiktive Kalibrierung unter Modellunsicherheit?
- Wie werden große oder unendliche Modellräume in der Praxis gehandhabt?
- Wie unterscheidet sich Stacking von der Gewichtung nach posteriorer Wahrscheinlichkeit?
Key concepts
- posteriore Modellwahrscheinlichkeit
- Modellraum
- Modellunsicherheit
- prädiktive Mittelung
- Stacking
- Occam's Window
Key theories
- Mittelung über den Modellraum
- Die Behandlung des Modellindex als Unbekannte mit eigener Posteriorverteilung führt zu Vorhersagen, die über Modelle integrieren, was unter der Annahme, dass das wahre Modell im Satz enthalten ist, optimal für die Vorhersage ist.
- Prädiktives Stacking
- Wenn kein Kandidat exakt korrekt ist, wählt Stacking Kombinationsgewichte, um die kreuzvalidierte Vorhersageleistung zu maximieren, und übertrifft in der Praxis oft die Gewichtung nach posteriorer Wahrscheinlichkeit.
Clinical relevance
Die Modellmittelung führt zu einer ehrlicheren Vorhersageunsicherheit in Bereichen wie der Klimaprojektion, der epidemiologischen Vorhersage und der Wirtschaft, wo die Festlegung auf ein einzelnes Modell die wahre Unsicherheit unterschätzen würde.
History
Die bayesianische Modellmittelung wurde in den 1990er Jahren entwickelt und 1999 in einem Tutorial von Hoeting und Kollegen zusammengefasst. Die Erkenntnis, dass das wahre Modell selten im Kandidatensatz enthalten ist, motivierte später das prädiktive Stacking als robustere Kombinationsmethode.
Debates
- Modellwahrscheinlichkeitsgewichtung versus Stacking
- Wenn alle Kandidatenmodelle falsch sind, können sich die posterioren Wahrscheinlichkeitsgewichte auf ein einziges schlechtes Modell konzentrieren, weshalb prädiktives Stacking zunehmend für die Kombination von Modellen zur Vorhersage bevorzugt wird.
Key figures
- Adrian Raftery
- David Madigan
- Jennifer Hoeting
- Andrew Gelman
Related topics
Seminal works
- hoeting1999
- yao2018
Frequently asked questions
- Warum nicht einfach das beste Einzelmodell auswählen?
- Die Auswahl eines Modells ignoriert die Unsicherheit darüber, welches Modell korrekt ist, und kann zu übermäßig selbstbewussten Vorhersagen führen; die Mittelung über Modelle oder deren Stacking verbreitet diese Unsicherheit und verbessert in der Regel die prädiktive Kalibrierung.