Байесовские и сжимающие оценки

Байесовские оценки объединяют априорные убеждения с данными для минимизации среднего риска, а сжимающие оценки используют удивительный факт, что смещение оценок к центру может превосходить очевидную оценку.

Definition

Байесовская оценка минимизирует ожидаемые потери, усредненные по априорному распределению параметра; сжимающая оценка намеренно смещает оценку к фиксированной точке или общему среднему для уменьшения ее общей среднеквадратической ошибки.

Scope

Эта тема охватывает априорные распределения и апостериорное распределение, байесовские оценки как апостериорные средние при квадратичной функции потерь и других функциях потерь, связь между байесовским риском и частотным риском, оценку Джеймса-Стейна и парадокс Стейна о недопустимости в трех или более измерениях, эмпирический байесовский подход и иерархическое сжатие, а также компромисс между смещением и дисперсией, который делает сжатие выгодным.

Core questions

• Как байесовская оценка выводится из апостериорного распределения при заданной функции потерь?
• Почему оценка Джеймса-Стейна доминирует над выборочным средним в трех или более измерениях?
• Как эмпирический байесовский подход заимствует информацию из связанных задач оценки?
• Когда смещение, вносимое сжатием, окупается снижением риска?

Key theories

Байесовские оценки и апостериорное ожидание

При квадратичной функции потерь байесовская оценка является апостериорным средним; для других функций потерь это соответствующая апостериорная сводка, и она минимизирует байесовский риск, усредненный по априорному распределению.

Парадокс Стейна и оценка Джеймса-Стейна

При одновременной оценке трех или более средних выборочное среднее недопустимо при квадратичной функции потерь, а оценка Джеймса-Стейна, которая сжимается к общей точке, имеет равномерно меньший риск.

Clinical relevance

Сжимающие и эмпирические байесовские оценки повышают точность, когда одновременно оценивается множество связанных величин, как, например, при оценке малых областей, ранжировании в спорте и образовании, геномике, а также в гребневой и регуляризованной регрессии, где объединение информации по единицам превосходит рассмотрение каждой в изоляции.

History

Стейн показал в 1956 году, что обычная оценка многомерного нормального среднего недопустима в трех или более измерениях, а Джеймс и Стейн представили доминирующую оценку в 1961 году. Эфрон и Моррис переосмыслили этот результат через эмпирический байесовский подход в 1970-х годах, сделав сжатие практическим инструментом.

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Почему смещенная оценка может быть предпочтительнее?

Потому что среднеквадратическая ошибка объединяет смещение и дисперсию; небольшое смещение, которое приводит к значительному снижению дисперсии, может уменьшить общую ошибку, что именно и используют сжимающие оценки.

Действительно ли парадокс Стейна является парадоксом?

Он скорее удивителен, чем противоречив: он показывает, что оценка нескольких несвязанных сред улучшается путем их совместного сжатия, потому что уменьшается именно совокупный риск, а не каждая отдельная оценка.