Estimation ponctuelle
L'estimation ponctuelle étudie comment résumer des données par une seule meilleure approximation d'un paramètre inconnu, et comment juger si un estimateur est meilleur qu'un autre.
Definition
L'estimation ponctuelle est la branche de l'inférence statistique qui vise à utiliser des données observées pour produire une valeur unique, appelée estimation ponctuelle, comme la meilleure approximation disponible d'un paramètre de population inconnu.
Scope
Ce domaine couvre la réduction des données par des statistiques exhaustives et complètes, la construction d'estimateurs par le maximum de vraisemblance et la méthode des moments, l'évaluation des estimateurs par le biais, la variance et l'erreur quadratique moyenne, la borne d'information de Cramer-Rao et la notion d'efficacité, les approches de Rao-Blackwell et Lehmann-Scheffe pour les estimateurs sans biais à variance minimale, et les estimateurs bayésiens et de rétrécissement (shrinkage) qui échangent le biais contre un risque réduit.
Sub-topics
Core questions
- Comment un échantillon peut-il être réduit à une statistique exhaustive sans perdre d'informations sur le paramètre ?
- Qu'est-ce qui rend un estimateur meilleur qu'un autre, et comment le biais et la variance se combinent-ils dans l'erreur quadratique moyenne ?
- Jusqu'où la variance d'un estimateur sans biais peut-elle être faible, et quand cette borne est-elle atteinte ?
- Quand le rétrécissement (shrinkage) d'un estimateur vers une a priori ou un point fixe réduit-il son risque global ?
Key theories
- Exhaustivité et théorème de factorisation
- Une statistique exhaustive capture toutes les informations de l'échantillon concernant un paramètre ; le théorème de factorisation identifie l'exhaustivité à partir de la manière dont la vraisemblance dépend des données et du paramètre, et la complétude assure l'unicité des estimateurs sans biais.
- Estimation par le maximum de vraisemblance
- Estimer le paramètre qui rend les données observées les plus probables ; sous des conditions de régularité, l'estimateur du maximum de vraisemblance est convergent, asymptotiquement normal et asymptotiquement efficace.
- Borne de Cramer-Rao et efficacité
- La variance de tout estimateur sans biais est bornée inférieurement par l'inverse de l'information de Fisher ; un estimateur atteignant cette borne est efficace, et les théorèmes de Rao-Blackwell et Lehmann-Scheffe construisent des estimateurs sans biais à variance minimale.
Clinical relevance
Les estimateurs ponctuels sont le moteur de la science quantitative appliquée : le maximum de vraisemblance sous-tend l'ajustement des modèles statistiques et d'apprentissage automatique, les estimateurs de rétrécissement (shrinkage) améliorent la prédiction dans les problèmes de grande dimension, et l'information de Fisher régit la précision avec laquelle les expériences peuvent résoudre un paramètre, éclairant ainsi les décisions concernant la taille de l'échantillon et la conception expérimentale.
History
Fisher a introduit la vraisemblance, l'exhaustivité, l'information et l'efficacité dans les années 1920, fondant ainsi la théorie moderne de l'estimation. Rao et Cramer ont établi la borne de variance vers 1945, Rao et Blackwell, puis Lehmann et Scheffe, ont complété la théorie de l'estimation sans biais, et la découverte par Stein en 1956 de l'inadmissibilité en trois dimensions ou plus a ouvert l'étude du rétrécissement (shrinkage).
Key figures
- Ronald A. Fisher
- Calyampudi Radhakrishna Rao
- Erich L. Lehmann
- Charles Stein
Related topics
Seminal works
- lehmannCasella1998
Frequently asked questions
- Quelle est la différence entre un estimateur et une estimation ?
- Un estimateur est une règle ou une fonction des données, considérée comme une variable aléatoire avant l'observation des données ; une estimation est la valeur numérique particulière que prend l'estimateur une fois les données observées.
- Un estimateur sans biais est-il toujours le meilleur choix ?
- Pas nécessairement. Un estimateur biaisé peut avoir une erreur quadratique moyenne plus faible que le meilleur estimateur sans biais, c'est pourquoi les estimateurs de rétrécissement (shrinkage) et bayésiens sont souvent préférés lorsque la précision globale est plus importante qu'un biais nul.