Théorème de Bayes et la distribution a posteriori

Le théorème de Bayes exprime la distribution a posteriori des paramètres inconnus comme étant proportionnelle à la vraisemblance des données multipliée par la distribution a priori, constituant ainsi le moteur de toute inférence bayésienne.

Definition

Le théorème de Bayes stipule que la densité a posteriori p(theta | y) est égale à la vraisemblance p(y | theta) multipliée par la distribution a priori p(theta) divisée par la vraisemblance marginale p(y) ; étant donné que p(y) ne dépend pas de theta, la distribution a posteriori est souvent exprimée comme étant proportionnelle à la vraisemblance multipliée par la distribution a priori.

Scope

Ce sujet aborde l'énoncé et la dérivation du théorème de Bayes pour l'inférence, sa forme proportionnelle, la vraisemblance marginale qui normalise la distribution a posteriori, et la manière dont des résumés tels que les moyennes a posteriori, les intervalles de crédibilité et la distribution prédictive a posteriori sont obtenus.

Core questions

• Comment la distribution a posteriori est-elle dérivée de la distribution a priori et de la vraisemblance ?
• Qu'est-ce que la vraisemblance marginale et pourquoi agit-elle comme une constante de normalisation ?
• Comment les estimations ponctuelles et les intervalles de crédibilité sont-ils extraits d'une distribution a posteriori ?
• Qu'est-ce que la distribution prédictive a posteriori et comment est-elle calculée ?

Key concepts

• distribution a priori
• vraisemblance
• distribution a posteriori
• vraisemblance marginale
• intervalle de crédibilité
• distribution prédictive a posteriori
• constante de normalisation

Key theories

Proportionnalité a posteriori

Étant donné que la vraisemblance marginale est constante par rapport au paramètre, l'inférence ne dépend que du produit de la vraisemblance et de la distribution a priori, à une normalisation près, ce qui est la forme exploitée par la plupart des méthodes de calcul.

Distribution prédictive a posteriori

Les données futures ou répliquées sont prédites en moyennant la distribution d'échantillonnage sur la distribution a posteriori, en intégrant l'incertitude des paramètres plutôt qu'en utilisant une estimation ponctuelle.

Clinical relevance

L'inférence a posteriori est utilisée chaque fois qu'une quantité d'intérêt doit être estimée avec une incertitude calibrée, y compris dans l'interprétation des tests diagnostiques, l'estimation de paramètres dans les sciences physiques et la prévision probabiliste.

History

La règle trouve son origine dans l'essai de Bayes de 1763 et a été généralisée par Laplace en la méthode de la probabilité inverse. L'accent moderne mis sur la distribution a posteriori complète, plutôt que sur une seule estimation par probabilité inverse, s'est consolidé dans la littérature bayésienne du XXe siècle.

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

Qu'est-ce qu'un intervalle de crédibilité ?

Un intervalle de crédibilité est une plage qui contient le paramètre avec une probabilité a posteriori spécifiée (par exemple 95 %) ; contrairement à un intervalle de confiance fréquentiste, il s'agit d'une déclaration de probabilité directe concernant le paramètre étant donné les données et la distribution a priori.

Pourquoi la distribution a posteriori peut-elle être exprimée sans calculer la vraisemblance marginale ?

La vraisemblance marginale est une constante par rapport au paramètre, elle ne fait donc que redimensionner la distribution a posteriori ; de nombreux algorithmes, tels que MCMC, n'ont besoin de la distribution a posteriori qu'à cette constante près.