Facteurs de Bayes et vraisemblance marginale

La vraisemblance marginale est la probabilité des données sous un modèle après intégration de ses paramètres, et le rapport de deux vraisemblances marginales, le facteur de Bayes, mesure l'évidence entre les modèles.

Definition

La vraisemblance marginale d'un modèle est l'intégrale de la vraisemblance sur la distribution a priori (prior); le facteur de Bayes entre deux modèles est le rapport de leurs vraisemblances marginales et, multiplié par les cotes a priori (prior odds), donne les cotes a posteriori (posterior odds) en faveur d'un modèle.

Scope

Ce sujet aborde la définition et l'interprétation de la vraisemblance marginale, du facteur de Bayes et de sa calibration en catégories d'évidence, sa pénalisation automatique de la complexité, le paradoxe de Jeffreys-Lindley montrant la sensibilité aux distributions a priori (priors) diffuses, et les méthodes de calcul telles que l'échantillonnage par pont (bridge sampling).

Core questions

• Qu'est-ce que la vraisemblance marginale et comment incarne-t-elle un rasoir d'Occam automatique ?
• Comment un facteur de Bayes est-il interprété comme une force d'évidence ?
• Pourquoi les facteurs de Bayes sont-ils sensibles au choix de la distribution a priori, comme le montre le paradoxe de Jeffreys-Lindley ?
• Comment la vraisemblance marginale est-elle calculée en pratique ?

Key concepts

• vraisemblance marginale
• facteur de Bayes
• cotes a posteriori
• rasoir d'Occam
• paradoxe de Jeffreys-Lindley
• échantillonnage par pont
• sensibilité à la distribution a priori

Key theories

Le facteur de Bayes comme évidence

Le facteur de Bayes convertit les cotes a priori en cotes a posteriori et est lu sur des échelles calibrées comme le poids de l'évidence que les données apportent en faveur d'un modèle par rapport à un autre.

Paradoxe de Jeffreys-Lindley

Parce que la vraisemblance marginale dépend de l'étendue de la distribution a priori, une distribution a priori arbitrairement diffuse peut forcer le facteur de Bayes à favoriser le modèle plus simple, quelles que soient les données; par conséquent, les distributions a priori impropres ne doivent pas être utilisées pour la comparaison de modèles.

Clinical relevance

Les facteurs de Bayes fournissent une mesure d'évidence rigoureuse utilisée en génétique, en psychologie et en physique pour comparer des hypothèses, mais leur dépendance à l'égard de la distribution a priori (prior) implique qu'ils doivent être rapportés avec les distributions a priori qui les ont produits.

History

Jeffreys a développé les facteurs de Bayes pour le test d'hypothèses dans les années 1930; le paradoxe de Lindley de 1957 a révélé leur sensibilité aux distributions a priori diffuses. L'étude de Kass et Raftery de 1995 a standardisé leur interprétation et passé en revue les approches computationnelles.

Debates

Utilisation de distributions a priori impropres ou vagues

Étant donné que la vraisemblance marginale est indéfinie pour les distributions a priori impropres et instable pour les distributions très diffuses, il existe un débat sur les distributions a priori par défaut pour la comparaison de modèles et sur la pertinence des facteurs de Bayes dans de tels contextes.

Key figures

• Harold Jeffreys
• Dennis Lindley
• Robert Kass
• Adrian Raftery

Seminal works

• kass1995
• lindley1957

Frequently asked questions

Puis-je utiliser une distribution a priori non informative pour calculer un facteur de Bayes ?

Généralement non : les distributions a priori impropres rendent la vraisemblance marginale indéfinie et les distributions a priori propres très diffuses biaisent le facteur de Bayes vers le modèle plus simple, ce qui est l'essence du paradoxe de Jeffreys-Lindley; les facteurs de Bayes nécessitent donc des distributions a priori propres soigneusement choisies.