M-оценивание и эмпирические процессы

M-оценивание рассматривает оценки, определяемые оптимизацией выборочного критерия, как единое семейство, а теория эмпирических процессов предоставляет необходимые теоремы равномерного предела для их анализа.

Definition

M-оценка — это максимизатор выборочного среднего функции критерия, а Z-оценка — это корень выборочного среднего оценочной функции; эмпирический процесс — это масштабированная разность между эмпирическим и истинным распределениями, индексированная классом функций.

Scope

Эта тема охватывает M-оценки, которые максимизируют целевую функцию, и Z-оценки, которые решают оценочные уравнения, унификацию оценок максимального правдоподобия, наименьших квадратов, квантильных и робастных оценок, состоятельность и асимптотическую нормальность M-оценок посредством равномерной сходимости, эмпирическое распределение и эмпирический процесс, слабую сходимость к гауссовскому процессу, классы Гливенко-Кантелли и Донскера, а также условия энтропии и бракетинга, которые контролируют сложность.

Core questions

• Как M- и Z-оценивание объединяют оценки максимального правдоподобия, наименьших квадратов и робастные оценки?
• Какая равномерная сходимость необходима для доказательства состоятельности и асимптотической нормальности M-оценки?
• Когда эмпирический процесс слабо сходится к гауссовскому процессу, то есть когда класс является классом Донскера?
• Как условия энтропии и бракетинга контролируют сложность класса функций?

Key theories

M- и Z-оценивание

Оценки, определяемые оптимизацией или приравниванием выборочного среднего к нулю, имеют общий асимптотический анализ: равномерный закон больших чисел дает состоятельность, а линеаризация дает асимптотическую нормальность с сэндвич-дисперсией.

Слабая сходимость эмпирического процесса

Над классом функций Донскера эмпирический процесс слабо сходится к гауссовскому процессу, обобщая центральную предельную теорему от одной статистики до целого класса функций и лежащий в основе современной асимптотики.

Clinical relevance

M-оценивание дает сэндвич- или робастные стандартные ошибки, используемые, когда модель может быть неверно специфицирована, а теория эмпирических процессов обеспечивает теоретические гарантии, лежащие в основе границ обобщения в статистическом обучении, связывая классическую статистику с машинным обучением.

History

Хубер ввел M-оценивание для робастной статистики в 1964 году. Программа эмпирических процессов, развитая Дадли, Поллардом и другими в 1970-х и 1980-х годах и обобщенная в монографии ван дер Ваарта и Веллнера 1996 года, предоставила теорию равномерного предела, которая теперь является стандартной в асимптотике.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

В чем разница между M-оценкой и Z-оценкой?

M-оценка максимизирует выборочную целевую функцию, в то время как Z-оценка решает систему оценочных уравнений; когда целевая функция дифференцируема, они совпадают, поскольку максимизатор является корнем градиента.

Почему теория эмпирических процессов важна для машинного обучения?

Теоремы равномерного предела для классов функций ограничивают, насколько эмпирическая ошибка может отклоняться от истинной ошибки для всех моделей-кандидатов, что именно и требуется для гарантий обобщения.