Estimación M y Procesos Empíricos

La estimación M trata a los estimadores definidos al optimizar un criterio de muestra como una única familia, y la teoría de procesos empíricos proporciona los teoremas de límite uniformes necesarios para analizarlos.

Definition

Un estimador M es el maximizador de un promedio muestral de una función de criterio, y un estimador Z es la raíz de un promedio muestral de una función de estimación; el proceso empírico es la diferencia reescalada entre las distribuciones empírica y verdadera, indexada por una clase de funciones.

Scope

Este tema cubre los estimadores M que maximizan un objetivo y los estimadores Z que resuelven ecuaciones de estimación, la unificación de la máxima verosimilitud, los mínimos cuadrados, los estimadores de cuantiles y robustos, la consistencia y normalidad asintótica de los estimadores M mediante convergencia uniforme, la distribución empírica y el proceso empírico, la convergencia débil a un proceso gaussiano, las clases de Glivenko-Cantelli y Donsker, y las condiciones de entropía y bracketing que controlan la complejidad.

Core questions

• ¿Cómo unifican la estimación M y Z la máxima verosimilitud, los mínimos cuadrados y los estimadores robustos?
• ¿Qué convergencia uniforme se necesita para probar la consistencia y la normalidad asintótica de un estimador M?
• ¿Cuándo converge débilmente el proceso empírico a un proceso gaussiano, es decir, cuándo es una clase Donsker?
• ¿Cómo controlan las condiciones de entropía y bracketing la complejidad de una clase de funciones?

Key theories

Estimación M y Z

Los estimadores definidos por optimización o por igualar un promedio muestral a cero comparten un análisis asintótico común: una ley uniforme de los grandes números proporciona consistencia y una linealización proporciona normalidad asintótica con una varianza de sándwich.

Convergencia débil del proceso empírico

Sobre una clase de funciones de Donsker, el proceso empírico converge débilmente a un proceso gaussiano, generalizando el teorema del límite central de una sola estadística a toda una clase de funciones y sustentando la asintótica moderna.

Clinical relevance

La estimación M proporciona los errores estándar de sándwich, o robustos, utilizados cuando un modelo puede estar mal especificado, y la teoría de procesos empíricos ofrece las garantías teóricas detrás de los límites de generalización en el aprendizaje estadístico, conectando la estadística clásica con el aprendizaje automático.

History

Huber introdujo la estimación M para estadísticas robustas en 1964. El programa de procesos empíricos, avanzado por Dudley, Pollard y otros durante las décadas de 1970 y 1980 y sintetizado en la monografía de van der Vaart y Wellner de 1996, proporcionó la teoría de límites uniformes ahora estándar en la asintótica.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

¿Cuál es la diferencia entre un estimador M y un estimador Z?

Un estimador M maximiza una función objetivo de muestra, mientras que un estimador Z resuelve un sistema de ecuaciones de estimación; cuando el objetivo es diferenciable, ambos coinciden, ya que el maximizador es una raíz del gradiente.

¿Por qué es importante la teoría de procesos empíricos para el aprendizaje automático?

Los teoremas de límite uniforme sobre clases de funciones limitan cuánto puede desviarse el error empírico del error verdadero en todos los modelos candidatos, que es exactamente lo que requieren las garantías de generalización.