Criterios de Información Predictivos

Los criterios de información predictivos estiman la precisión esperada fuera de la muestra de un modelo a partir de su posterior, ofreciendo una alternativa centrada en la predicción a los factores de Bayes para comparar modelos.

Definition

Los criterios de información predictivos son estimaciones de la densidad predictiva logarítmica esperada de un modelo en nuevos datos, calculados a partir de muestras posteriores y corregidos por sobreajuste mediante una penalización de parámetros efectivos, utilizados para clasificar modelos según su rendimiento predictivo.

Scope

Este tema cubre el criterio de información de la desviación (DIC), el criterio de información ampliamente aplicable (WAIC) y la validación cruzada de dejar uno fuera con muestreo de importancia suavizado por Pareto eficiente, incluyendo cómo cada uno estima el número efectivo de parámetros y aproxima la densidad predictiva logarítmica esperada.

Core questions

• ¿Cómo estiman el DIC, el WAIC y la validación cruzada de dejar uno fuera la precisión predictiva?
• ¿Qué es el número efectivo de parámetros y cómo se calcula?
• ¿Por qué se considera el WAIC más completamente bayesiano que el DIC?
• ¿Cómo hace el muestreo de importancia suavizado por Pareto que la validación cruzada de dejar uno fuera sea eficiente?

Key concepts

• DIC
• WAIC
• validación cruzada de dejar uno fuera
• densidad predictiva logarítmica esperada
• número efectivo de parámetros
• muestreo de importancia suavizado por Pareto
• penalización por sobreajuste

Key theories

Número efectivo de parámetros

Cada criterio penaliza el ajuste mediante una estimación de la complejidad del modelo derivada de la variabilidad de la log-verosimilitud a través de la posterior, de modo que un mejor ajuste dentro de la muestra no gana automáticamente.

Equivalencia entre WAIC y validación cruzada

Watanabe demostró que el WAIC es asintóticamente equivalente a la validación cruzada bayesiana de dejar uno fuera, y ambos apuntan directamente a la densidad predictiva logarítmica esperada fuera de la muestra utilizando la posterior completa.

Clinical relevance

Los criterios predictivos permiten a los investigadores comparar modelos candidatos para la predicción en epidemiología, ecología y ciencias físicas sin especificar los priors cuidadosamente ajustados que exigen los factores de Bayes.

History

Spiegelhalter y sus colegas propusieron el DIC en 2002; Watanabe introdujo el WAIC a partir de la teoría del aprendizaje singular en 2010. El trabajo de Vehtari, Gelman y Gabry de 2017 sobre la validación cruzada de dejar uno fuera con muestreo de importancia suavizado por Pareto hizo que la evaluación predictiva estable y diagnosticable fuera práctica.

Debates

Fiabilidad del DIC

El DIC puede comportarse mal para modelos jerárquicos y no regulares y carece de invarianza, lo que lleva a muchos a preferir el WAIC o la validación cruzada de dejar uno fuera, aunque ningún criterio único es universalmente el mejor.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

¿Es mejor un criterio de información más bajo o más alto?

Estos criterios generalmente se informan en una escala de desviación donde los valores más bajos indican una mejor precisión predictiva estimada fuera de la muestra; las diferencias deben juzgarse en relación con sus errores estándar en lugar de tratarse como exactas.