Critères d'information prédictifs

Les critères d'information prédictifs estiment la précision hors échantillon attendue d'un modèle à partir de sa postérieure, offrant une alternative axée sur la prédiction aux facteurs de Bayes pour la comparaison de modèles.

Definition

Les critères d'information prédictifs sont des estimations de la densité prédictive logarithmique attendue d'un modèle sur de nouvelles données, calculées à partir d'échantillons postérieurs et corrigées pour le surapprentissage par une pénalité de paramètres effectifs, utilisées pour classer les modèles selon leur performance prédictive.

Scope

Ce sujet couvre le critère d'information de déviance (DIC), le critère d'information largement applicable (WAIC), et la validation croisée par exclusion (leave-one-out) avec échantillonnage d'importance lissé par Pareto, y compris la manière dont chacun estime le nombre effectif de paramètres et approxime la densité prédictive logarithmique attendue.

Core questions

• Comment le DIC, le WAIC et la validation croisée par exclusion (leave-one-out) estiment-ils la précision prédictive ?
• Qu'est-ce que le nombre effectif de paramètres et comment est-il calculé ?
• Pourquoi le WAIC est-il considéré comme plus pleinement bayésien que le DIC ?
• Comment l'échantillonnage d'importance lissé par Pareto rend-il la validation croisée par exclusion (leave-one-out) efficace ?

Key concepts

• DIC
• WAIC
• validation croisée par exclusion (leave-one-out)
• densité prédictive logarithmique attendue
• nombre effectif de paramètres
• échantillonnage d'importance lissé par Pareto
• pénalité de surapprentissage

Key theories

Nombre effectif de paramètres

Chaque critère pénalise l'ajustement par une estimation de la complexité du modèle dérivée de la variabilité de la log-vraisemblance à travers la postérieure, de sorte qu'un meilleur ajustement intra-échantillon ne l'emporte pas automatiquement.

Équivalence entre WAIC et validation croisée

Watanabe a montré que le WAIC est asymptotiquement équivalent à la validation croisée bayésienne par exclusion (leave-one-out), et que les deux ciblent directement la densité prédictive logarithmique hors échantillon attendue en utilisant la postérieure complète.

Clinical relevance

Les critères prédictifs permettent aux chercheurs de comparer des modèles candidats pour la prédiction en épidémiologie, en écologie et dans les sciences physiques sans avoir à spécifier les a priori finement ajustés que les facteurs de Bayes exigent.

History

Spiegelhalter et ses collègues ont proposé le DIC en 2002 ; Watanabe a introduit le WAIC à partir de la théorie de l'apprentissage singulier en 2010. Les travaux de Vehtari, Gelman et Gabry en 2017 sur la validation croisée par exclusion (leave-one-out) avec échantillonnage d'importance lissé par Pareto ont rendu l'évaluation prédictive stable et diagnostiquable pratique.

Debates

Fiabilité du DIC

Le DIC peut se comporter de manière insatisfaisante pour les modèles hiérarchiques et non réguliers et manque d'invariance, ce qui conduit de nombreux chercheurs à préférer le WAIC ou la validation croisée par exclusion (leave-one-out), bien qu'aucun critère unique ne soit universellement le meilleur.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

Un critère d'information plus bas ou plus élevé est-il préférable ?

Ces critères sont généralement rapportés sur une échelle de déviance où des valeurs plus basses indiquent une meilleure précision prédictive hors échantillon estimée ; les différences doivent être jugées par rapport à leurs erreurs standard plutôt que traitées comme exactes.