Méthodes de Monte-Carlo
Les méthodes de Monte-Carlo permettent d'approximer des intégrales, des espérances et des probabilités en effectuant une moyenne sur des tirages aléatoires simulés, remplaçant ainsi des calculs analytiques intraitables par l'application de la loi des grands nombres à un flux d'échantillons.
Definition
Les méthodes de Monte-Carlo sont des techniques de calcul qui estiment une quantité déterministe, généralement une intégrale ou une espérance, comme la moyenne d'une fonction évaluée à partir d'échantillons tirés d'une distribution de probabilité appropriée.
Scope
Ce domaine couvre l'estimation de Monte-Carlo simple pour les intégrales et les espérances, l'échantillonnage par importance en tant que stratégie de repondération, et les chaînes de Markov Monte-Carlo pour l'échantillonnage à partir de distributions complexes de haute dimension, y compris l'échantillonneur de Gibbs. Il traite de la théorie statistique de ces estimateurs (cohérence, taux d'erreur, taille d'échantillon effective) plutôt que des modèles de simulation spécifiques à la physique.
Sub-topics
Core questions
- Comment la moyenne sur des échantillons aléatoires estime-t-elle une intégrale, et à quel rythme l'erreur diminue-t-elle ?
- Comment l'échantillonnage à partir d'une distribution peut-il estimer les espérances sous une autre ?
- Comment une chaîne de Markov peut-elle être construite de manière à ce que sa distribution stationnaire soit la cible d'intérêt ?
- Comment la précision d'une estimation de Monte-Carlo est-elle quantifiée lorsque les tirages sont dépendants ?
Key theories
- Estimation de Monte-Carlo
- Selon la loi des grands nombres, la moyenne d'échantillon d'une fonction évaluée à partir de tirages indépendants converge vers son espérance, et le théorème central limite donne un taux d'erreur en racine de n indépendant de la dimension.
- Chaîne de Markov Monte-Carlo
- La construction d'une chaîne de Markov dont la distribution invariante est la cible permet d'échantillonner des distributions connues uniquement à une constante près, les moyennes ergodiques de la chaîne estimant les espérances.
- Changement de mesure via l'échantillonnage par importance
- Le tirage à partir d'une proposition traitable et la repondération par le rapport de la densité cible à la densité de proposition produisent des estimations non biaisées des espérances sous la cible, l'efficacité étant régie par la variance des poids.
Clinical relevance
Les méthodes de Monte-Carlo constituent le moteur computationnel des statistiques modernes : elles évaluent les postérioris bayésiens, intègrent les variables latentes, propagent l'incertitude à travers des modèles complexes, et estiment les valeurs p et les risques dans des contextes où il n'existe pas de solutions analytiques, avec des applications couvrant la physique, la génétique, la finance et l'épidémiologie.
History
Les méthodes de Monte-Carlo sont nées des calculs de physique nucléaire à Los Alamos dans les années 1940 et ont été nommées d'après le casino ; l'algorithme de Metropolis a suivi en 1953, Hastings l'a généralisé en 1970, et la redécouverte de l'échantillonnage de Gibbs par les statisticiens dans les années 1990 a transformé les chaînes de Markov Monte-Carlo en l'outil dominant des statistiques bayésiennes computationnelles.
Key figures
- Nicholas Metropolis
- Stanislaw Ulam
- Christian P. Robert
- Andrew Gelman
Related topics
Seminal works
- robert2004
- metropolis1949
Frequently asked questions
- Pourquoi l'erreur de Monte-Carlo n'augmente-t-elle pas avec la dimension ?
- L'erreur standard d'une moyenne de Monte-Carlo simple diminue comme l'inverse de la racine carrée du nombre de tirages, quelle que soit la dimension de l'intégrale. Cette indépendance de la dimension explique pourquoi Monte-Carlo surpasse souvent la quadrature basée sur une grille pour les problèmes de haute dimension.
- Quelle est la différence entre Monte-Carlo simple et les chaînes de Markov Monte-Carlo ?
- Le Monte-Carlo simple utilise des tirages indépendants de la distribution cible. Les chaînes de Markov Monte-Carlo simulent plutôt une séquence dépendante dont la distribution à long terme est la cible, ce qui permet d'échantillonner des distributions qui ne peuvent pas être tirées directement.