Méthodes bayésiennes empiriques

Les méthodes bayésiennes empiriques estiment la distribution a priori à partir des données elles-mêmes, offrant une grande partie des avantages d'un modèle hiérarchique à un coût computationnel réduit.

Definition

Les méthodes bayésiennes empiriques constituent une approche de l'inférence hiérarchique dans laquelle les paramètres de la distribution a priori sont estimés à partir des données observées, généralement en maximisant la vraisemblance marginale, puis sont traités comme connus lors du calcul des distributions a posteriori pour les quantités au niveau du groupe.

Scope

Ce sujet couvre les méthodes bayésiennes empiriques paramétriques et non paramétriques, l'estimation des hyperparamètres par maximum de vraisemblance marginale ou par la méthode des moments, le lien avec la contraction de James-Stein, et la mise en garde selon laquelle les méthodes bayésiennes empiriques peuvent sous-estimer l'incertitude en ignorant l'erreur dans l'estimation de la distribution a priori.

Core questions

• Comment les hyperparamètres sont-ils estimés à partir de la distribution marginale des données ?
• Comment les méthodes bayésiennes empiriques se rapportent-elles à la modélisation hiérarchique entièrement bayésienne ?
• Pourquoi est-ce lié aux estimateurs de contraction de James-Stein ?
• De quelle manière les méthodes bayésiennes empiriques peuvent-elles sous-estimer l'incertitude ?

Key concepts

• bayésien empirique
• maximum de vraisemblance marginale
• estimation d'hyperparamètres
• estimateur de James-Stein
• contraction
• taux de fausse découverte
• sous-estimation de l'incertitude

Key theories

Estimation de la distribution a priori à partir des données

En ajustant les hyperparamètres de la distribution a priori à la distribution marginale de toutes les données, les méthodes bayésiennes empiriques apprennent la quantité de regroupement (pooling) à effectuer sans spécifier d'hyperpriori, approximant ainsi la distribution a posteriori hiérarchique complète.

Lien avec la contraction de Stein

L'estimateur de James-Stein peut être dérivé comme une règle bayésienne empirique paramétrique, ce qui rend explicite le fait que les distributions a priori estimées à partir des données produisent la contraction qui réduit l'erreur totale.

Clinical relevance

Les méthodes bayésiennes empiriques sont à la base de l'inférence à grande échelle en génomique et en imagerie, où des milliers d'effets sont estimés simultanément et où les distributions a priori basées sur les données stabilisent les estimations et contrôlent les faux positifs (false discoveries).

History

Robbins a introduit les méthodes bayésiennes empiriques en 1956 ; Efron et Morris l'ont reliée à la contraction de Stein dans les années 1970. L'essor des données à haut débit a rendu les méthodes bayésiennes empiriques centrales pour l'inférence simultanée à grande échelle, telle que développée dans la monographie d'Efron de 2010.

Debates

Ignorer l'incertitude dans l'estimation de la distribution a priori

Étant donné que les méthodes bayésiennes empiriques utilisent des estimations ponctuelles des hyperparamètres, elles peuvent produire des intervalles de confiance trop étroits par rapport à une analyse entièrement bayésienne qui propage cette incertitude.

Key figures

• Herbert Robbins
• Bradley Efron
• Carl Morris

Seminal works

• robbins1956
• efron2010

Frequently asked questions

Les méthodes bayésiennes empiriques sont-elles réellement bayésiennes ?

C'est une approche hybride : elle utilise le théorème de Bayes pour les paramètres au niveau du groupe, mais estime la distribution a priori à partir des données plutôt que de la spécifier à l'avance, ce qui approxime un modèle hiérarchique complet tout en sous-estimant généralement l'incertitude de la distribution a priori.