Estimation par maximum de vraisemblance

L'estimation par maximum de vraisemblance sélectionne la valeur du paramètre sous laquelle les données observées sont les plus probables, offrant ainsi une méthode d'estimation générale et asymptotiquement optimale.

Definition

L'estimateur du maximum de vraisemblance est la valeur du paramètre qui maximise la fonction de vraisemblance, c'est-à-dire la probabilité ou la densité des données observées considérée comme une fonction du paramètre.

Scope

Ce sujet aborde les fonctions de vraisemblance et de log-vraisemblance, les équations du score et l'information de Fisher, l'existence et le calcul des estimateurs du maximum de vraisemblance, la propriété d'invariance sous reparamétrisation, ainsi que la théorie des grands échantillons établissant la convergence, la normalité asymptotique et l'efficacité asymptotique, de même que les conditions de régularité requises pour ces résultats et les défaillances courantes telles que les cas limites et non réguliers.

Core questions

• Comment la fonction de vraisemblance est-elle définie, et pourquoi est-elle maximisée plutôt que la probabilité du paramètre ?
• Que sont les équations du score, et comment l'information de Fisher intervient-elle dans la solution ?
• Sous quelles conditions de régularité l'estimateur du maximum de vraisemblance est-il convergent et asymptotiquement normal ?
• Quand le maximum de vraisemblance échoue-t-il, comme dans les problèmes non réguliers ou les cas limites ?

Key theories

Principe de vraisemblance et le score

L'inférence est guidée par la fonction de vraisemblance ; l'annulation du score, sa dérivée, donne les équations d'estimation dont la solution est l'estimateur du maximum de vraisemblance.

Efficacité asymptotique

Sous des conditions de régularité, l'estimateur du maximum de vraisemblance est convergent, asymptotiquement normal avec une variance égale à l'inverse de l'information de Fisher, et asymptotiquement efficace, atteignant la borne de Cramer-Rao à la limite.

Clinical relevance

Le maximum de vraisemblance est le moteur d'estimation par défaut pour la régression, les modèles linéaires généralisés, les modèles mixtes, l'analyse de survie et la plupart des modèles d'apprentissage automatique probabilistes, où la minimisation d'une perte de log-vraisemblance négative est équivalente à la maximisation de la vraisemblance.

History

Fisher a formalisé le maximum de vraisemblance et prouvé son efficacité dans des articles publiés de 1912 aux années 1920. Wald a énoncé des conditions de convergence rigoureuses en 1949, et les travaux de Le Cam au milieu du siècle ont clarifié la théorie asymptotique locale qui sous-tend les résultats d'efficacité modernes.

Key figures

• Ronald A. Fisher
• Abraham Wald
• Lucien Le Cam
• Aad van der Vaart

Seminal works

• lehmannCasella1998

Frequently asked questions

Le maximum de vraisemblance donne-t-il toujours un estimateur sans biais ?

Non. Les estimateurs du maximum de vraisemblance peuvent être biaisés sur des échantillons finis, par exemple la variance du maximum de vraisemblance d'une distribution normale ; le biais disparaît généralement à mesure que la taille de l'échantillon augmente.

Pourquoi maximiser la log-vraisemblance plutôt que la vraisemblance ?

Le logarithme est une fonction croissante, il a donc le même maximiseur, mais il transforme les produits en sommes, ce qui simplifie la différenciation et améliore la stabilité numérique.