Estimation sans biais et la borne de Cramer-Rao

Parmi les estimateurs non biaisés, l'inégalité de Cramer-Rao fixe une borne inférieure pour la variance, et les théorèmes de Rao-Blackwell et Lehmann-Scheffe montrent comment l'atteindre.

Definition

Un estimateur est non biaisé si son espérance mathématique est égale au paramètre pour chaque valeur du paramètre ; la borne de Cramer-Rao stipule que la variance de tout estimateur non biaisé est au moins l'inverse de l'information de Fisher.

Scope

Ce sujet aborde l'absence de biais et ses limites, l'information de Fisher pour un ou plusieurs paramètres, la borne inférieure de Cramer-Rao sur la variance d'un estimateur non biaisé, les conditions d'atteinte de cette borne, le théorème de Rao-Blackwell sur l'amélioration d'un estimateur par conditionnement sur une statistique exhaustive, et le théorème de Lehmann-Scheffe identifiant l'estimateur non biaisé à variance minimale unique via des statistiques exhaustives complètes.

Core questions

• Qu'est-ce que l'information de Fisher, et comment quantifie-t-elle la précision disponible dans les données ?
• Pourquoi aucun estimateur non biaisé ne peut-il avoir une variance inférieure à la borne de Cramer-Rao, et quand cette borne est-elle atteinte ?
• Comment le conditionnement sur une statistique exhaustive, via Rao-Blackwell, réduit-il la variance ?
• Comment la complétude et l'exhaustivité combinées, via Lehmann-Scheffe, permettent-elles d'identifier le meilleur estimateur non biaisé ?

Key theories

Inégalité d'information de Cramer-Rao

Sous des conditions de régularité, la variance d'un estimateur non biaisé est bornée inférieurement par l'inverse de l'information de Fisher, définissant l'efficacité comme l'atteinte de cette borne.

Théorèmes de Rao-Blackwell et Lehmann-Scheffe

Le conditionnement de tout estimateur non biaisé sur une statistique exhaustive n'augmente jamais sa variance ; si cette statistique est également complète, le résultat est l'estimateur non biaisé à variance minimale unique.

Clinical relevance

La borne de Cramer-Rao et l'information de Fisher définissent la limite fondamentale de précision d'une expérience, guidant la conception expérimentale optimale et l'étalonnage des capteurs, tandis que les estimateurs non biaisés à variance minimale fournissent des estimations de référence auxquelles les procédures pratiques sont comparées.

History

Cramer et Rao ont établi indépendamment la borne de variance vers 1945. Le résultat d'amélioration par conditionnement de Rao et Blackwell et le théorème d'unicité de Lehmann et Scheffe ont suivi à la fin des années 1940 et au début des années 1950, complétant la théorie classique de l'estimation sans biais.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

La borne de Cramer-Rao est-elle toujours atteignable ?

Non. Elle n'est atteinte que dans des cas particuliers, principalement les familles exponentielles ; en général, l'estimateur non biaisé à variance minimale peut avoir une variance strictement supérieure à la borne.

Que mesure l'information de Fisher ?

Elle mesure la sensibilité de la vraisemblance aux changements du paramètre, et donc la quantité d'informations que les données contiennent à son sujet ; une information de Fisher plus élevée permet une estimation plus précise.