Асимптотическая эффективность и теория Ле Кама

Теория Ле Кама точно определяет, что означает асимптотическая оптимальность оценки, аппроксимируя гладкую модель вблизи истинного значения простым нормальным экспериментом.

Definition

Регулярная оценка является асимптотически эффективной, если ее предельная дисперсия достигает нижней границы, установленной теоремами о свертке и локально-асимптотическом минимаксе, что эквивалентно обратной информации Фишера в гладкой параметрической модели.

Scope

Эта тема охватывает смежность и леммы Ле Кама, локальную асимптотическую нормальность гладких параметрических моделей, предельный гауссовский сдвиговый эксперимент, теорему Гаека о свертке, показывающую, что предел любой регулярной оценки является эффективным плюс независимый шум, локально-асимптотическую минимаксную теорему, последующее определение асимптотической эффективности и роль эффективной функции влияния и суперэффективности.

Core questions

• Что такое локальная асимптотическая нормальность и почему она сводит модель к нормальному эксперименту?
• Как теорема о свертке характеризует наилучшее возможное предельное распределение оценки?
• Что добавляет локально-асимптотическая минимаксная теорема о риске в наихудшем случае?
• Почему суперэффективность возможна только на пренебрежимом множестве, и что такое эффективная функция влияния?

Key theories

Локальная асимптотическая нормальность

Для гладких моделей отношение логарифма правдоподобия при локальных возмущениях параметра ведет себя как отношение в гауссовском сдвиговом эксперименте, поэтому вопросы об исходной модели сводятся к разрешимой нормальной задаче.

Теоремы о свертке и локально-асимптотическом минимаксе

Теорема Гаека о свертке показывает, что предельный закон любой регулярной оценки представляет собой эффективный нормальный закон, свернутый с независимым шумом, а локально-асимптотическая минимаксная теорема ограничивает локальный риск в наихудшем случае, совместно определяя асимптотическую эффективность.

Clinical relevance

Теория Ле Кама обеспечивает эталон асимптотической эффективности, по которому оцениваются оценки, и лежит в основе построения эффективных и полупараметрически-эффективных оценок, включая методы функции влияния, используемые в причинно-следственном выводе и целенаправленном обучении.

History

Ле Кам развивал смежность и локальную асимптотическую нормальность с 1950-х годов, разрешая давние головоломки, такие как суперэффективность. Гаек доказал теоремы о свертке и локально-асимптотическом минимаксе около 1970 года, и эта концепция была расширена на полупараметрические модели позднее в том же столетии.

Key figures

• Lucien Le Cam
• Jaroslav Hajek
• Aad van der Vaart
• Peter J. Bickel

Seminal works

• vanderVaart1998

Frequently asked questions

Что такое суперэффективность?

Это явление, проиллюстрированное примером Ходжеса, когда оценка превосходит эффективную асимптотическую дисперсию при изолированных значениях параметра; теорема о свертке показывает, что это может произойти только на множестве меры нуль и ценой ухудшения поведения вблизи.

Зачем аппроксимировать модель нормальным экспериментом?

Поскольку предельный гауссовский сдвиговый эксперимент полностью изучен, вопросы оптимальности, неразрешимые в исходной модели, могут быть решены там и перенесены обратно с помощью локальной асимптотической нормальности.