M-estimation et processus empiriques

L'M-estimation considère les estimateurs définis par l'optimisation d'un critère échantillon comme une famille unique, et la théorie des processus empiriques fournit les théorèmes de limite uniforme nécessaires à leur analyse.

Definition

Un M-estimateur est le maximiseur d'une moyenne échantillon d'une fonction critère, et un Z-estimateur est la racine d'une moyenne échantillon d'une fonction d'estimation ; le processus empirique est la différence rééchelonnée entre les distributions empirique et vraie, indexée par une classe de fonctions.

Scope

Ce sujet aborde les M-estimateurs qui maximisent un objectif et les Z-estimateurs qui résolvent des équations d'estimation, l'unification des estimateurs du maximum de vraisemblance, des moindres carrés, de quantile et robustes, la cohérence et la normalité asymptotique des M-estimateurs via la convergence uniforme, la distribution empirique et le processus empirique, la convergence faible vers un processus gaussien, les classes de Glivenko-Cantelli et de Donsker, ainsi que les conditions d'entropie et de bracketing qui contrôlent la complexité.

Core questions

• Comment l'M-estimation et la Z-estimation unifient-elles les estimateurs du maximum de vraisemblance, des moindres carrés et robustes ?
• Quelle convergence uniforme est nécessaire pour prouver la cohérence et la normalité asymptotique d'un M-estimateur ?
• Quand le processus empirique converge-t-il faiblement vers un processus gaussien, c'est-à-dire quand une classe est-elle de Donsker ?
• Comment les conditions d'entropie et de bracketing contrôlent-elles la complexité d'une classe de fonctions ?

Key theories

M-estimation et Z-estimation

Les estimateurs définis par optimisation ou par annulation d'une moyenne échantillon partagent une analyse asymptotique commune : une loi uniforme des grands nombres assure la cohérence et une linéarisation donne la normalité asymptotique avec une variance de type sandwich.

Convergence faible des processus empiriques

Sur une classe de fonctions de Donsker, le processus empirique converge faiblement vers un processus gaussien, généralisant le théorème central limite d'une statistique unique à une classe de fonctions entière et sous-tendant l'asymptotique moderne.

Clinical relevance

L'M-estimation fournit les erreurs standard de type sandwich, ou robustes, utilisées lorsqu'un modèle peut être mal spécifié, et la théorie des processus empiriques offre les garanties théoriques sous-jacentes aux bornes de généralisation en apprentissage statistique, reliant ainsi les statistiques classiques à l'apprentissage automatique.

History

Huber a introduit l'M-estimation pour les statistiques robustes en 1964. Le programme des processus empiriques, développé par Dudley, Pollard et d'autres au cours des années 1970 et 1980 et synthétisé dans la monographie de van der Vaart et Wellner de 1996, a fourni la théorie des limites uniformes désormais standard en asymptotique.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

Quelle est la différence entre un M-estimateur et un Z-estimateur ?

Un M-estimateur maximise une fonction objectif échantillon, tandis qu'un Z-estimateur résout un système d'équations d'estimation ; lorsque l'objectif est différentiable, les deux coïncident, puisque le maximiseur est une racine du gradient.

Pourquoi la théorie des processus empiriques est-elle importante pour l'apprentissage automatique ?

Les théorèmes de limite uniforme sur les classes de fonctions bornent l'écart entre l'erreur empirique et l'erreur réelle pour tous les modèles candidats, ce qui est précisément ce que les garanties de généralisation exigent.