M估计与经验过程

M估计将通过优化样本准则定义的估计量视为一个单一的族，而经验过程理论则提供了分析这些估计量所需的统一极限定理。

Definition

M估计量是准则函数样本平均值的最大化器，Z估计量是估计函数样本平均值的根；经验过程是经验分布与真实分布之间经过重新缩放的差异，由一类函数进行索引。

Scope

本主题涵盖了最大化目标函数的M估计量和求解估计方程的Z估计量，统一了最大似然、最小二乘、分位数和稳健估计量，通过一致收敛性探讨了M估计量的一致性和渐近正态性，经验分布和经验过程，弱收敛到高斯过程，Glivenko-Cantelli和Donsker类，以及控制复杂度的熵和括号条件。

Core questions

• M估计和Z估计如何统一最大似然、最小二乘和稳健估计量？
• 证明M估计量的一致性和渐近正态性需要哪些一致收敛性？
• 经验过程何时弱收敛到高斯过程，即何时一个类是Donsker类？
• 熵和括号条件如何控制函数类的复杂度？

Key theories

M估计和Z估计

通过优化或将样本平均值设为零定义的估计量具有共同的渐近分析：一致大数定律提供了一致性，线性化提供了具有“三明治”方差的渐近正态性。

经验过程弱收敛

在Donsker函数类上，经验过程弱收敛到高斯过程，将中心极限定理从单个统计量推广到整个函数类，并支撑了现代渐近理论。

Clinical relevance

M估计提供了当模型可能存在错误设定时使用的“三明治”或稳健标准误差，而经验过程理论为统计学习中的泛化界限提供了理论保证，将经典统计学与机器学习联系起来。

History

Huber于1964年引入M估计用于稳健统计。经验过程研究项目由Dudley、Pollard等人在20世纪70年代和80年代推进，并在van der Vaart和Wellner于1996年的专著中得到综合，提供了现在渐近理论中标准的统一极限定理。

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

M估计量和Z估计量有什么区别？

M估计量最大化样本目标函数，而Z估计量求解估计方程组；当目标函数可微时，两者一致，因为最大化器是梯度的根。

为什么经验过程理论对机器学习很重要？

函数类上的一致极限定理限制了经验误差与真实误差在所有候选模型中可能偏离的程度，这正是泛化保证所需要的。