Prioris faiblement informatifs et régularisants

Les prioris faiblement informatifs sont des prioris propres, délibérément modérés, qui excluent les valeurs de paramètres invraisemblables et stabilisent l'estimation sans imposer de fortes convictions substantielles.

Definition

Un priori faiblement informatif est un priori propre choisi pour être large à l'échelle des valeurs de paramètres plausibles, fournissant suffisamment d'informations pour régulariser la distribution a posteriori et améliorer le calcul, tout en restant non engagé quant à la valeur spécifique au sein de cette plage.

Scope

Ce sujet aborde la justification des prioris faiblement informatifs par rapport aux prioris plats, leurs effets de régularisation et de rétrécissement (shrinkage), les choix par défaut pour les coefficients de régression et les paramètres d'échelle, ainsi que les prioris induisant la parcimonie tels que le prior en fer à cheval (horseshoe) et le Lasso bayésien.

Core questions

• Pourquoi les prioris faiblement informatifs sont-ils préférés aux prioris plats ou impropres en pratique ?
• Comment les prioris régularisent-ils les estimations et les rétrécissent-ils (shrinkage) vers des valeurs plausibles ?
• Quels prioris par défaut sont recommandés pour les coefficients de régression et les paramètres de variance ?
• Comment les prioris de parcimonie, tels que le prior en fer à cheval (horseshoe), gèrent-ils de nombreux coefficients potentiellement nuls ?

Key concepts

• priori faiblement informatif
• régularisation
• rétrécissement (shrinkage)
• priori en fer à cheval (horseshoe)
• Lasso bayésien
• priori d'échelle
• séparation

Key theories

Régularisation via les prioris

Un priori avec une échelle finie pénalise les estimations extrêmes, réduisant la variance et prévenant les problèmes de séparation ; de nombreux estimateurs de vraisemblance pénalisée correspondent à des modes a posteriori sous des prioris spécifiques.

Rétrécissement global-local (global-local shrinkage)

Les prioris de parcimonie, tels que le prior en fer à cheval (horseshoe), utilisent une échelle locale à queue lourde et une échelle globale afin que les petits coefficients soient fortement rétrécis (shrunk) tandis que les signaux importants échappent au rétrécissement.

Clinical relevance

Les prioris de régularisation stabilisent les estimations dans les problèmes de grande dimension et de parcimonie, tels que la génomique et la sélection de biomarqueurs, et ils préviennent les estimations divergentes lorsque les données n'identifient que faiblement les paramètres.

History

Alors que le calcul bayésien est devenu courant dans les années 2000, l'attention s'est déplacée des prioris plats « non informatifs » vers des prioris par défaut faiblement informatifs qui améliorent à la fois l'inférence et l'échantillonnage. Les prioris de parcimonie, y compris le Lasso bayésien et l'estimateur en fer à cheval (horseshoe) de 2010, ont étendu cette approche à la régression de grande dimension.

Debates

Quelle doit être la faiblesse d'un priori par défaut ?

Il y a une discussion continue sur la manière de définir l'échelle des prioris faiblement informatifs afin qu'ils régularisent utilement sans biaiser involontairement les conclusions à l'échelle pertinente.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

En quoi un priori faiblement informatif diffère-t-il d'un priori non informatif ?

Un priori non informatif tente d'ajouter le moins d'informations possible et peut être impropre, tandis qu'un priori faiblement informatif est propre et ajoute intentionnellement des informations modérées pour exclure les valeurs invraisemblables et stabiliser l'analyse.