Échantillonnage par pondération

L'échantillonnage par pondération estime une espérance sous une distribution cible en tirant des échantillons d'une distribution de proposition différente et plus commode, et en corrigeant chaque tirage avec un poids égal au rapport de la densité cible à la densité de proposition.

Definition

L'échantillonnage par pondération est une technique de Monte Carlo qui estime l'espérance d'une fonction sous une densité cible en moyennant la fonction multipliée par un poids d'importance sur des échantillons tirés d'une densité de proposition.

Scope

Ce sujet aborde l'identité de l'échantillonnage par pondération et l'estimateur pondéré résultant, le choix de la distribution de proposition et son effet sur la variance des poids, l'estimateur auto-normalisé utilisé lorsque les densités ne sont connues qu'à une constante près, le rôle diagnostique de la taille d'échantillon effective, et les pathologies des poids à queue lourde. Il est lié à la réduction de variance et aux méthodes particulaires.

Core questions

• Comment la repondération d'échantillons provenant d'une proposition permet-elle de retrouver une espérance sous la cible ?
• Quel choix de proposition minimise la variance de l'estimateur d'échantillonnage par pondération ?
• Comment l'échantillonnage par pondération auto-normalisé est-il utilisé lorsque seules des densités non normalisées sont disponibles ?
• Comment la taille d'échantillon effective diagnostique-t-elle la dégénérescence des poids ?

Key concepts

• Poids d'importance
• Distribution de proposition
• Estimateur auto-normalisé
• Taille d'échantillon effective
• Dégénérescence des poids

Key theories

Identité de l'échantillonnage par pondération

Une espérance sous la cible est égale à l'espérance sous la proposition de la fonction multipliée par le rapport des densités, ainsi, la moyenne échantillon pondérée estime l'espérance cible sans biais lorsque la proposition couvre le support de la cible.

Proposition optimale et variance des poids

La variance de l'estimateur est minimisée par une proposition proportionnelle à l'intégrande absolue, et en pratique, des propositions mal adaptées ou à queue légère produisent quelques poids dominants qui augmentent la variance, mesurée par une faible taille d'échantillon effective.

Clinical relevance

L'échantillonnage par pondération permet l'estimation des probabilités d'événements rares, des vraisemblances marginales et des espérances a posteriori, permet de réutiliser un seul échantillon pour évaluer de nombreuses cibles connexes, et sous-tend les filtres de Monte Carlo séquentiels (particulaires) utilisés dans les modèles d'espace d'états et de séries chronologiques.

History

L'échantillonnage par pondération est apparu dans la pratique de Monte Carlo au milieu du XXe siècle comme un dispositif de réduction de variance et a été ensuite développé par les statisticiens sous des formes auto-normalisées et adaptatives, devenant un composant essentiel du Monte Carlo séquentiel et du calcul bayésien moderne.

Key figures

• Christian P. Robert
• George Casella
• Geneva Hoeting

Seminal works

• robert2004
• givens2013

Frequently asked questions

Pourquoi utiliser une distribution de proposition au lieu d'échantillonner directement la cible ?

Souvent, la cible ne peut pas être échantillonnée facilement, ou l'on souhaite concentrer les tirages dans une région importante, telle qu'une queue d'événement rare. L'échantillonnage par pondération permet d'échantillonner une distribution commode et de corriger le désalignement avec des poids.

Qu'est-ce qui ne va pas si la proposition est mal choisie ?

Si la proposition a des queues plus légères que la cible, quelques échantillons reçoivent des poids énormes et dominent l'estimation, donnant une variance élevée, voire infinie. Le diagnostic de la taille d'échantillon effective signale cette dégénérescence.