Techniques de réduction de variance
Les techniques de réduction de variance sont des dispositifs qui réduisent la variance d'échantillonnage d'un estimateur de Monte Carlo, de sorte qu'une précision cible est atteinte avec moins de tirages simulés que l'échantillonnage naïf n'exigerait.
Definition
Une technique de réduction de variance est une modification d'un schéma d'échantillonnage ou d'un estimateur de Monte Carlo qui diminue la variance de l'estimation résultante tout en la maintenant non biaisée ou convergente pour la même quantité cible.
Scope
Ce sujet couvre les principaux schémas classiques : les nombres aléatoires communs et antithétiques, les variables de contrôle, l'échantillonnage par importance (importance sampling) considéré comme un dispositif de réduction de variance, l'échantillonnage stratifié et l'échantillonnage hypercube latin, ainsi que le conditionnement (Rao-Blackwellization). L'accent est mis sur la réduction sans biais de la variance de l'estimateur et sur les conditions dans lesquelles chaque schéma est bénéfique.
Core questions
- Comment les nombres aléatoires antithétiques et communs exploitent-ils la corrélation pour annuler la variance ?
- Comment une variable de contrôle utilise-t-elle une quantité corrélée de moyenne connue pour ajuster un estimateur ?
- Pourquoi la repondération des échantillons par échantillonnage par importance peut-elle réduire la variance, et quand cela peut-il être contre-productif ?
- Comment la stratification et le conditionnement réduisent-ils la variance, et quel en est le coût ?
Key concepts
- Variables antithétiques
- Variables de contrôle
- Nombres aléatoires communs
- Échantillonnage stratifié
- Rao-Blackwellization
- Taille d'échantillon effective
Key theories
- Réduction basée sur la corrélation
- Les variables antithétiques induisent une corrélation négative entre les tirages appariés, et les variables de contrôle soustraient une quantité corrélée d'espérance connue ; les deux réduisent la variance proportionnellement à la force de la corrélation exploitée.
- Repondération et stratification
- L'échantillonnage par importance déplace l'effort de simulation vers des régions influentes par un changement de mesure, tandis que les plans stratifiés et hypercubes latins répartissent les tirages uniformément dans l'espace d'entrée ; chacun peut réduire considérablement la variance lorsqu'il est adapté à l'intégrande.
Clinical relevance
La réduction de variance est ce qui rend réalisables les études de simulation de grande envergure, l'estimation d'événements rares et les calculs bayésiens coûteux : en réduisant le nombre de tirages nécessaires pour une précision donnée, elle diminue le temps de calcul, et des techniques comme les nombres aléatoires communs affinent les comparaisons entre des systèmes ou des estimateurs concurrents.
History
La panoplie classique de réduction de variance (variables antithétiques, variables de contrôle, échantillonnage par importance, stratification) a été développée au milieu du XXe siècle parallèlement aux premières applications de Monte Carlo à grande échelle, et a ensuite été unifiée avec des idées de conditionnement telles que la Rao-Blackwellization dans la littérature sur la simulation statistique.
Key figures
- Christian P. Robert
- George Casella
- John M. Hammersley
Related topics
Seminal works
- robert2004
- givens2013
Frequently asked questions
- Les techniques de réduction de variance modifient-elles la quantité estimée ?
- Non. Appliquées correctement, elles ciblent la même espérance et restent non biaisées ou convergentes ; elles ne font que réorganiser la manière dont le hasard intervient afin que l'estimateur fluctue moins autour de la vraie valeur.
- Une technique de réduction de variance peut-elle parfois aggraver la situation ?
- Oui. Une variable de contrôle faiblement corrélée à l'intégrande, ou une densité d'importance mal adaptée à la cible, peut augmenter la variance. Le bénéfice dépend de l'adéquation de la technique à la structure du problème.