Несмещенное оценивание и граница Крамера-Рао

Среди несмещенных оценок неравенство Крамера-Рао устанавливает нижнюю границу дисперсии, а теоремы Рао-Блэквелла и Лемана-Шеффе показывают, как ее достичь.

Definition

Оценка является несмещенной, если ее математическое ожидание равно параметру для каждого значения параметра; граница Крамера-Рао утверждает, что дисперсия любой несмещенной оценки по крайней мере равна обратной величине информации Фишера.

Scope

Эта тема охватывает несмещенность и ее ограничения, информацию Фишера для одного и нескольких параметров, нижнюю границу Крамера-Рао для дисперсии несмещенной оценки, условия достижения этой границы, теорему Рао-Блэквелла об улучшении оценки путем обусловливания достаточной статистикой, а также теорему Лемана-Шеффе, определяющую единственную несмещенную оценку с минимальной дисперсией с помощью полных достаточных статистик.

Core questions

• Что такое информация Фишера и как она количественно определяет точность, доступную в данных?
• Почему ни одна несмещенная оценка не может иметь дисперсию ниже границы Крамера-Рао, и когда эта граница достигается?
• Как обусловливание достаточной статистикой, согласно Рао-Блэквеллу, уменьшает дисперсию?
• Как полнота и достаточность вместе, согласно Леману-Шеффе, выделяют наилучшую несмещенную оценку?

Key theories

Информационное неравенство Крамера-Рао

При условиях регулярности дисперсия несмещенной оценки ограничена снизу величиной, обратной информации Фишера, определяя эффективность как достижение этой границы.

Теоремы Рао-Блэквелла и Лемана-Шеффе

Обусловливание любой несмещенной оценки достаточной статистикой никогда не увеличивает ее дисперсию; если эта статистика также является полной, результатом является единственная несмещенная оценка с минимальной дисперсией.

Clinical relevance

Граница Крамера-Рао и информация Фишера устанавливают фундаментальный предел точности эксперимента, направляя оптимальное планирование экспериментов и калибровку датчиков, в то время как несмещенные оценки с минимальной дисперсией предоставляют эталонные оценки, с которыми сравниваются практические процедуры.

History

Крамер и Рао независимо установили границу дисперсии около 1945 года. Результат Рао и Блэквелла об улучшении путем обусловливания и теорема Лемана и Шеффе о единственности последовали в конце 1940-х и начале 1950-х годов, завершив классическую теорию несмещенного оценивания.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

Всегда ли достижима граница Крамера-Рао?

Нет. Она достигается только в особых случаях, главным образом в экспоненциальных семействах; в общем случае несмещенная оценка с минимальной дисперсией может иметь дисперсию строго выше этой границы.

Что измеряет информация Фишера?

Она измеряет, насколько резко функция правдоподобия реагирует на изменения параметра, и, следовательно, сколько информации данные несут о нем; большая информация Фишера позволяет более точное оценивание.