Promediación de Modelos Bayesianos

La promediación de modelos bayesianos considera la incertidumbre sobre qué modelo es correcto al combinar las predicciones de todos los modelos candidatos, ponderadas por sus probabilidades posteriores.

Definition

La promediación de modelos bayesianos forma predicciones e inferencias tomando un promedio ponderado sobre un conjunto de modelos candidatos, con pesos iguales a la probabilidad posterior de cada modelo dados los datos, incorporando así la incertidumbre del modelo en la respuesta final.

Scope

Este tema abarca la formulación de la promediación de modelos sobre un espacio de modelos, las probabilidades posteriores de los modelos como pesos, su beneficio para la predicción calibrada bajo incertidumbre del modelo, los desafíos prácticos de los grandes espacios de modelos y alternativas predictivas como el apilamiento (stacking).

Core questions

• ¿Cómo se promedian las predicciones entre modelos utilizando las probabilidades posteriores de los modelos?
• ¿Por qué la promediación de modelos mejora la calibración predictiva bajo incertidumbre del modelo?
• ¿Cómo se manejan en la práctica los espacios de modelos grandes o infinitos?
• ¿En qué se diferencia el apilamiento (stacking) de la ponderación por probabilidad posterior?

Key concepts

• probabilidad posterior del modelo
• espacio de modelos
• incertidumbre del modelo
• promediación predictiva
• apilamiento (stacking)
• ventana de Occam

Key theories

Promediación sobre el espacio de modelos

Tratar el índice del modelo como una incógnita con su propia probabilidad posterior produce predicciones que se integran sobre los modelos, lo cual, bajo el supuesto de que el modelo verdadero está en el conjunto, es óptimo para la predicción.

Apilamiento predictivo (Predictive stacking)

Cuando ningún candidato es exactamente correcto, el apilamiento elige pesos de combinación para maximizar el rendimiento predictivo validado cruzadamente, a menudo superando en la práctica la ponderación por probabilidad posterior.

Clinical relevance

La promediación de modelos produce una incertidumbre predictiva más honesta en campos como la proyección climática, el pronóstico epidemiológico y la economía, donde comprometerse con un solo modelo subestimaría la verdadera incertidumbre.

History

La promediación de modelos bayesianos se desarrolló a lo largo de la década de 1990 y se sintetizó en el tutorial de 1999 de Hoeting y sus colegas. El reconocimiento de que el modelo verdadero rara vez se encuentra en el conjunto de candidatos motivó posteriormente el apilamiento predictivo (predictive stacking) como un método de combinación más robusto.

Debates

Ponderación por probabilidad del modelo versus apilamiento (stacking)

Cuando todos los modelos candidatos son incorrectos, los pesos de probabilidad posterior pueden concentrarse en un único modelo deficiente, por lo que el apilamiento predictivo es cada vez más preferido para combinar modelos para la predicción.

Key figures

• Adrian Raftery
• David Madigan
• Jennifer Hoeting
• Andrew Gelman

Seminal works

• hoeting1999
• yao2018

Frequently asked questions

¿Por qué no simplemente elegir el mejor modelo único?

Seleccionar un modelo ignora la incertidumbre sobre qué modelo es correcto y puede producir predicciones demasiado confiadas; promediar sobre los modelos, o apilarlos, propaga esa incertidumbre y generalmente mejora la calibración predictiva.