Moyennage de modèles bayésiens

Le moyennage de modèles bayésiens tient compte de l'incertitude quant au modèle correct en combinant les prédictions de tous les modèles candidats, pondérées par leurs probabilités a posteriori.

Definition

Le moyennage de modèles bayésiens formule des prédictions et des inférences en calculant une moyenne pondérée sur un ensemble de modèles candidats, avec des pondérations égales à la probabilité a posteriori de chaque modèle étant donné les données, incorporant ainsi l'incertitude du modèle dans la réponse finale.

Scope

Ce sujet aborde la formulation du moyennage de modèles sur un espace de modèles, les probabilités a posteriori des modèles comme pondérations, son avantage pour une prédiction calibrée sous incertitude de modèle, les défis pratiques des grands espaces de modèles, et les alternatives prédictives telles que le stacking.

Core questions

• Comment les prédictions sont-elles moyennées entre les modèles en utilisant les probabilités a posteriori des modèles ?
• Pourquoi le moyennage de modèles améliore-t-il la calibration prédictive sous incertitude de modèle ?
• Comment les espaces de modèles larges ou infinis sont-ils gérés en pratique ?
• En quoi le stacking diffère-t-il de la pondération par probabilité a posteriori ?

Key concepts

• probabilité a posteriori du modèle
• espace de modèles
• incertitude du modèle
• moyennage prédictif
• stacking
• fenêtre d'Occam

Key theories

Moyennage sur l'espace de modèles

Traiter l'indice du modèle comme une inconnue avec sa propre probabilité a posteriori produit des prédictions qui intègrent les modèles, ce qui, sous l'hypothèse que le modèle vrai est dans l'ensemble, est optimal pour la prédiction.

Stacking prédictif

Lorsqu'aucun candidat n'est exactement correct, le stacking choisit des pondérations de combinaison pour maximiser la performance prédictive validée de manière croisée, surpassant souvent la pondération par probabilité a posteriori en pratique.

Clinical relevance

Le moyennage de modèles produit une incertitude prédictive plus réaliste dans des domaines tels que la projection climatique, la prévision épidémiologique et l'économie, où s'engager sur un modèle unique sous-estimerait l'incertitude réelle.

History

Le moyennage de modèles bayésiens a été développé au cours des années 1990 et synthétisé dans le tutoriel de 1999 par Hoeting et ses collègues. La reconnaissance que le modèle vrai est rarement inclus dans l'ensemble des candidats a par la suite motivé le stacking prédictif comme méthode de combinaison plus robuste.

Debates

Pondération par probabilité de modèle versus stacking

Lorsque tous les modèles candidats sont erronés, les pondérations par probabilité a posteriori peuvent se concentrer sur un seul modèle médiocre ; le stacking prédictif est donc de plus en plus privilégié pour combiner les modèles à des fins de prédiction.

Key figures

• Adrian Raftery
• David Madigan
• Jennifer Hoeting
• Andrew Gelman

Seminal works

• hoeting1999
• yao2018

Frequently asked questions

Pourquoi ne pas simplement choisir le meilleur modèle unique ?

Sélectionner un seul modèle ignore l'incertitude quant au modèle correct et peut produire des prédictions trop confiantes ; le moyennage sur les modèles, ou leur stacking, propage cette incertitude et améliore généralement la calibration prédictive.