M-Estimação e Processos Empíricos

A M-estimação trata os estimadores definidos pela otimização de um critério amostral como uma única família, e a teoria dos processos empíricos fornece os teoremas de limite uniforme necessários para analisá-los.

Definition

Um M-estimador é o maximizador de uma média amostral de uma função critério, e um Z-estimador é a raiz de uma média amostral de uma função de estimação; o processo empírico é a diferença reescalada entre as distribuições empírica e verdadeira, indexada por uma classe de funções.

Scope

Este tópico abrange os M-estimadores que maximizam um objetivo e os Z-estimadores que resolvem equações de estimação, a unificação da máxima verossimilhança, mínimos quadrados, estimadores quantílicos e robustos, a consistência e normalidade assintótica dos M-estimadores via convergência uniforme, a distribuição empírica e o processo empírico, a convergência fraca para um processo gaussiano, as classes de Glivenko-Cantelli e Donsker, e as condições de entropia e bracketing que controlam a complexidade.

Core questions

• Como a M- e Z-estimação unificam os estimadores de máxima verossimilhança, mínimos quadrados e robustos?
• Que convergência uniforme é necessária para provar a consistência e a normalidade assintótica de um M-estimador?
• Quando o processo empírico converge fracamente para um processo gaussiano, ou seja, quando uma classe é Donsker?
• Como as condições de entropia e bracketing controlam a complexidade de uma classe de funções?

Key theories

M- e Z-estimação

Estimadores definidos pela otimização ou pela anulação de uma média amostral compartilham uma análise assintótica comum: uma lei uniforme dos grandes números fornece consistência e uma linearização fornece normalidade assintótica com uma variância tipo sanduíche.

Convergência fraca do processo empírico

Sobre uma classe Donsker de funções, o processo empírico converge fracamente para um processo gaussiano, generalizando o teorema do limite central de uma única estatística para uma classe de funções inteira e fundamentando a assintótica moderna.

Clinical relevance

A M-estimação fornece os erros padrão tipo sanduíche, ou robustos, utilizados quando um modelo pode estar mal especificado, e a teoria dos processos empíricos oferece as garantias teóricas subjacentes aos limites de generalização na aprendizagem estatística, conectando a estatística clássica à aprendizagem de máquina.

History

Huber introduziu a M-estimação para estatísticas robustas em 1964. O programa de processos empíricos, avançado por Dudley, Pollard e outros nas décadas de 1970 e 1980 e sintetizado na monografia de van der Vaart e Wellner de 1996, forneceu a teoria de limite uniforme agora padrão em assintótica.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

Qual é a diferença entre um M-estimador e um Z-estimador?

Um M-estimador maximiza uma função objetivo amostral, enquanto um Z-estimador resolve um sistema de equações de estimação; quando o objetivo é diferenciável, os dois coincidem, uma vez que o maximizador é uma raiz do gradiente.

Por que a teoria dos processos empíricos é importante para a aprendizagem de máquina?

Os teoremas de limite uniforme sobre classes de funções limitam o quanto o erro empírico pode desviar-se do erro verdadeiro em todos os modelos candidatos, o que é exatamente o que as garantias de generalização exigem.