Estimation bayésienne et par rétrécissement

Les estimateurs bayésiens intègrent les informations a priori aux données afin de minimiser le risque moyen, et les estimateurs par rétrécissement exploitent le fait surprenant que le fait de ramener les estimations vers un point central peut surpasser l'estimateur usuel.

Definition

Un estimateur bayésien minimise la perte attendue, moyennée sur une distribution a priori du paramètre ; un estimateur par rétrécissement biaise délibérément une estimation vers un point fixe ou une moyenne commune afin de réduire son erreur quadratique moyenne globale.

Scope

Ce sujet aborde les distributions a priori et a posteriori, les estimateurs bayésiens en tant que moyennes a posteriori sous une fonction de perte quadratique et d'autres fonctions de perte, la relation entre le risque bayésien et le risque fréquentiste, l'estimateur de James-Stein et le paradoxe d'inadmissibilité de Stein en trois dimensions ou plus, les méthodes bayésiennes empiriques et le rétrécissement hiérarchique, ainsi que le compromis biais-variance qui rend le rétrécissement avantageux.

Core questions

• Comment un estimateur bayésien est-il dérivé de la distribution a posteriori sous une fonction de perte donnée ?
• Pourquoi l'estimateur de James-Stein domine-t-il la moyenne échantillon en trois dimensions ou plus ?
• Comment les méthodes bayésiennes empiriques tirent-elles parti des informations entre des problèmes d'estimation liés ?
• Quand le biais introduit par le rétrécissement se traduit-il par une réduction du risque ?

Key theories

Estimateurs bayésiens et espérance a posteriori

Sous une fonction de perte quadratique, l'estimateur bayésien est la moyenne a posteriori ; pour d'autres pertes, il s'agit du résumé a posteriori correspondant, et il minimise le risque bayésien moyenné sur la distribution a priori.

Le paradoxe de Stein et l'estimateur de James-Stein

Lors de l'estimation simultanée de trois moyennes ou plus, la moyenne échantillon est inadmissible sous une fonction de perte quadratique, et l'estimateur de James-Stein, qui se rapproche d'un point commun, présente un risque uniformément plus faible.

Clinical relevance

Les estimateurs par rétrécissement et bayésiens empiriques améliorent la précision lorsque de nombreuses quantités liées sont estimées simultanément, comme dans l'estimation sur petits domaines, les classements sportifs et éducatifs, la génomique, et la régression ridge et régularisée, où la mise en commun des informations entre les unités est préférable à un traitement isolé de chacune.

History

Stein a montré en 1956 que l'estimateur usuel d'une moyenne normale multivariée est inadmissible en trois dimensions ou plus, et James et Stein ont présenté un estimateur dominant en 1961. Efron et Morris ont recadré le résultat à travers les méthodes bayésiennes empiriques dans les années 1970, faisant du rétrécissement un outil pratique.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Pourquoi un estimateur biaisé pourrait-il être préféré ?

Parce que l'erreur quadratique moyenne combine le biais et la variance ; un faible biais qui permet une réduction importante de la variance peut diminuer l'erreur totale, ce qui est précisément ce qu'exploitent les estimateurs par rétrécissement.

Le paradoxe de Stein est-il réellement un paradoxe ?

Il est surprenant plutôt que contradictoire : il montre que l'estimation de plusieurs moyennes non liées est améliorée en les rétrécissant conjointement, car c'est le risque combiné, et non chaque estimation séparée, qui est réduit.