Comparación y Selección de Modelos Bayesianos

La comparación de modelos bayesianos sopesa modelos en competencia según su capacidad de predicción y el apoyo posterior que les proporcionan los datos, utilizando verosimilitudes marginales, criterios predictivos y promediado de modelos.

Definition

La comparación de modelos bayesianos es el uso de la probabilidad para evaluar y elegir entre modelos en competencia, comparando sus verosimilitudes marginales o probabilidades posteriores, estimando su precisión predictiva esperada, o promediando sobre ellos en proporción a su apoyo.

Scope

Esta área abarca los factores de Bayes y la verosimilitud marginal, criterios de información predictiva como WAIC y validación cruzada de dejar uno fuera, el promediado de modelos bayesianos que considera la incertidumbre del modelo, y la verificación predictiva posterior para evaluar el ajuste absoluto del modelo.

Sub-topics

• bayes factors and marginal likelihood
• bayesian model averaging
• posterior predictive checks
• predictive information criteria

Core questions

• ¿Cómo comparan los factores de Bayes y las probabilidades de modelos posteriores los modelos?
• ¿Cómo se estima la precisión predictiva esperada utilizando WAIC y la validación cruzada?
• ¿Cómo maneja el promediado de modelos bayesianos la incertidumbre sobre qué modelo es correcto?
• ¿Cómo evalúan las verificaciones predictivas posteriores si un solo modelo se ajusta a los datos?

Key concepts

• factor de Bayes
• verosimilitud marginal
• WAIC
• validación cruzada de dejar uno fuera
• promediado de modelos bayesianos
• verificación predictiva posterior
• navaja de Occam
• precisión predictiva

Key theories

Factores de Bayes

La razón de las verosimilitudes marginales cuantifica la evidencia que los datos proporcionan para un modelo sobre otro y es la base bayesiana formal para la comparación de hipótesis y modelos.

Evaluación predictiva de modelos

Los criterios de información como WAIC y la validación cruzada eficiente de dejar uno fuera estiman la precisión predictiva fuera de la muestra directamente a partir de las extracciones posteriores, proporcionando una alternativa centrada en la predicción a los factores de Bayes.

Clinical relevance

La comparación de modelos guía qué modelo científico o predictivo confiar en campos desde la genética hasta la cosmología, y las verificaciones predictivas posteriores proporcionan una forma basada en principios para detectar el desajuste del modelo antes de extraer conclusiones.

History

Jeffreys introdujo los factores de Bayes para la prueba de hipótesis en la década de 1930; la revisión de Kass y Raftery de 1995 los hizo ampliamente accesibles. La preocupación por la sensibilidad de la verosimilitud marginal a las distribuciones a priori y el cálculo impulsó criterios predictivos como DIC, WAIC y la validación cruzada eficiente de dejar uno fuera.

Debates

Factores de Bayes versus criterios predictivos

Los factores de Bayes dependen sensiblemente de la distribución a priori y pueden ser difíciles de calcular, mientras que los criterios predictivos se dirigen a la precisión fuera de la muestra; la preferencia por uno u otro depende de si el objetivo es la evidencia para una hipótesis o el rendimiento predictivo.

Key figures

• Harold Jeffreys
• Robert Kass
• Adrian Raftery
• Sumio Watanabe
• Aki Vehtari

Seminal works

• kass1995
• vehtari2017
• gelman2013

Frequently asked questions

¿Debo usar factores de Bayes o un criterio de información?

Utilice los factores de Bayes cuando desee una medida de evidencia para una hipótesis sobre otra y pueda especificar las distribuciones a priori cuidadosamente; utilice criterios predictivos como WAIC o la validación cruzada de dejar uno fuera cuando el objetivo sea comparar el rendimiento predictivo esperado fuera de la muestra.