Эмпирические байесовские методы

Эмпирический байесовский подход оценивает априорное распределение на основе самих данных, обеспечивая большую часть преимуществ иерархической модели при меньших вычислительных затратах.

Definition

Эмпирический байесовский подход — это метод иерархического вывода, при котором параметры априорного распределения оцениваются по наблюдаемым данным, как правило, путем максимизации предельного правдоподобия, а затем рассматриваются как известные при вычислении апостериорных распределений для величин группового уровня.

Scope

Эта тема охватывает параметрический и непараметрический эмпирический байесовский подход, оценку гиперпараметров методом предельного максимального правдоподобия или методом моментов, связь с усадкой Джеймса-Стейна и предостережение о том, что эмпирический байесовский подход может недооценивать неопределенность, игнорируя ошибку в оцененном априорном распределении.

Core questions

• Как гиперпараметры оцениваются из предельного распределения данных?
• Как эмпирический байесовский подход связан с полностью байесовским иерархическим моделированием?
• Почему он связан с оценщиками усадки Джеймса-Стейна?
• Каким образом эмпирический байесовский подход может недооценивать неопределенность?

Key concepts

• эмпирический байесовский подход
• предельное максимальное правдоподобие
• оценка гиперпараметров
• оценщик Джеймса-Стейна
• усадка
• частота ложных открытий
• недооценка неопределенности

Key theories

Оценка априорного распределения по данным

Подгоняя гиперпараметры априорного распределения к предельному распределению всех данных, эмпирический байесовский подход определяет, насколько сильно следует объединять данные, не задавая гипераприорное распределение, аппроксимируя полное иерархическое апостериорное распределение.

Связь с усадкой Стейна

Оценщик Джеймса-Стейна может быть выведен как параметрическое эмпирическое байесовское правило, что явно показывает, что априорные распределения, оцененные по данным, приводят к усадке, которая уменьшает общую ошибку.

Clinical relevance

Эмпирический байесовский подход лежит в основе крупномасштабного вывода в геномике и обработке изображений, где одновременно оцениваются тысячи эффектов, а управляемые данными априорные распределения стабилизируют оценки и контролируют ложные открытия.

History

Роббинс представил эмпирический байесовский подход в 1956 году; Эфрон и Моррис связали его с усадкой Стейна в 1970-х годах. Рост высокопроизводительных данных сделал эмпирический байесовский подход центральным для крупномасштабного одновременного вывода, как это было разработано в монографии Эфрона 2010 года.

Debates

Игнорирование неопределенности в оцененном априорном распределении

Поскольку эмпирический байесовский подход использует точечные оценки гиперпараметров, он может давать чрезмерно уверенные интервалы по сравнению с полностью байесовским анализом, который распространяет эту неопределенность.

Key figures

• Herbert Robbins
• Bradley Efron
• Carl Morris

Seminal works

• robbins1956
• efron2010

Frequently asked questions

Действительно ли эмпирический байесовский подход является байесовским?

Это гибридный подход: он использует теорему Байеса для параметров группового уровня, но оценивает априорное распределение по данным, а не задает его заранее, что аппроксимирует полную иерархическую модель, при этом обычно недооценивая неопределенность в априорном распределении.