M-추정 및 경험 과정

M-추정은 표본 기준을 최적화하여 정의된 추정량을 단일 계열로 취급하며, 경험 과정 이론은 이를 분석하는 데 필요한 균일 극한 정리를 제공합니다.

Definition

M-추정량은 기준 함수의 표본 평균을 최대화하는 것이며, Z-추정량은 추정 함수의 표본 평균의 근입니다. 경험 과정은 함수 클래스에 의해 색인화된 경험 분포와 참 분포 사이의 재조정된 차이입니다.

Scope

이 주제는 목적 함수를 최대화하는 M-추정량과 추정 방정식을 푸는 Z-추정량, 최대 우도, 최소 제곱, 분위수 및 강건 추정량의 통합, 균일 수렴을 통한 M-추정량의 일치성 및 점근적 정규성, 경험 분포 및 경험 과정, 가우스 과정으로의 약한 수렴, Glivenko-Cantelli 및 Donsker 클래스, 그리고 복잡성을 제어하는 엔트로피 및 브래킷 조건을 다룹니다.

Core questions

• M- 및 Z-추정은 최대 우도, 최소 제곱 및 강건 추정량을 어떻게 통합합니까?
• M-추정량의 일치성 및 점근적 정규성을 증명하는 데 어떤 균일 수렴이 필요합니까?
• 경험 과정이 가우스 과정으로 약하게 수렴하는 경우는 언제입니까? 즉, 클래스가 Donsker인 경우는 언제입니까?
• 엔트로피 및 브래킷 조건은 함수 클래스의 복잡성을 어떻게 제어합니까?

Key theories

M- 및 Z-추정

표본 평균을 최적화하거나 0으로 설정하여 정의된 추정량은 공통적인 점근적 분석을 공유합니다. 균일 대수의 법칙은 일치성을 제공하고 선형화는 샌드위치 분산을 갖는 점근적 정규성을 제공합니다.

경험 과정의 약한 수렴

Donsker 함수 클래스에 걸쳐 경험 과정은 가우스 과정으로 약하게 수렴하며, 이는 단일 통계량에서 전체 함수 클래스로 중심 극한 정리를 일반화하고 현대 점근 이론의 기초가 됩니다.

Clinical relevance

M-추정은 모델이 잘못 지정될 수 있을 때 사용되는 샌드위치 또는 강건 표준 오차를 제공하며, 경험 과정 이론은 통계 학습에서 일반화 경계 뒤에 있는 이론적 보장을 제공하여 고전 통계와 기계 학습을 연결합니다.

History

Huber는 1964년에 강건 통계를 위해 M-추정을 도입했습니다. Dudley, Pollard 등이 1970년대와 1980년대에 발전시키고 van der Vaart와 Wellner의 1996년 단행본에서 종합된 경험 과정 프로그램은 현재 점근 이론의 표준이 된 균일 극한 이론을 제공했습니다.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

M-추정량과 Z-추정량의 차이점은 무엇입니까?

M-추정량은 표본 목적 함수를 최대화하는 반면, Z-추정량은 추정 방정식 시스템을 풉니다. 목적 함수가 미분 가능할 때, 최대화 지점이 기울기의 근이므로 둘은 일치합니다.

기계 학습에서 경험 과정 이론이 왜 중요합니까?

함수 클래스에 대한 균일 극한 정리는 모든 후보 모델에서 경험 오차가 실제 오차에서 얼마나 벗어날 수 있는지를 제한하며, 이는 일반화 보장이 정확히 요구하는 바입니다.