Слабоинформативные и регуляризующие априорные распределения

Слабоинформативные априорные распределения — это намеренно мягкие, собственные априорные распределения, которые исключают неправдоподобные значения параметров и стабилизируют оценивание без навязывания сильных содержательных убеждений.

Definition

Слабоинформативное априорное распределение — это собственное априорное распределение, выбранное таким образом, чтобы быть широким в диапазоне правдоподобных значений параметров, предоставляя достаточно информации для регуляризации апостериорного распределения и улучшения вычислений, оставаясь при этом неопределенным относительно конкретного значения в этом диапазоне.

Scope

Эта тема охватывает обоснование использования слабоинформативных априорных распределений вместо плоских априорных распределений, их регуляризующие эффекты и эффекты сжатия, выбор априорных распределений по умолчанию для коэффициентов регрессии и параметров масштаба, а также априорные распределения, способствующие разреженности, такие как подковообразное априорное распределение и байесовский лассо.

Core questions

• Почему слабоинформативные априорные распределения предпочтительнее плоских или несобственных априорных распределений на практике?
• Как априорные распределения регуляризуют оценки и сжимают их до правдоподобных значений?
• Какие априорные распределения по умолчанию рекомендуются для коэффициентов регрессии и параметров дисперсии?
• Как априорные распределения разреженности, такие как «подкова», обрабатывают множество потенциально нулевых коэффициентов?

Key concepts

• слабоинформативное априорное распределение
• регуляризация
• сжатие
• подковообразное априорное распределение
• байесовский лассо
• априорное распределение масштаба
• разделение

Key theories

Регуляризация с помощью априорных распределений

Априорное распределение с конечным масштабом штрафует экстремальные оценки, уменьшая дисперсию и предотвращая проблемы разделения; многие оценки с регуляризованной функцией правдоподобия соответствуют апостериорным модам при определенных априорных распределениях.

Глобально-локальное сжатие

Априорные распределения разреженности, такие как «подкова», используют локальный масштаб с тяжелыми хвостами и глобальный масштаб, так что малые коэффициенты сильно сжимаются, в то время как сильные сигналы избегают сжатия.

Clinical relevance

Регуляризующие априорные распределения стабилизируют оценки в задачах с высокой размерностью и разреженностью, таких как геномика и выбор биомаркеров, и предотвращают расходящиеся оценки, когда данные лишь слабо идентифицируют параметры.

History

По мере того как байесовские вычисления стали рутинными в 2000-х годах, внимание сместилось с плоских «неинформативных» априорных распределений на слабоинформативные распределения по умолчанию, которые улучшают как вывод, так и выборку. Априорные распределения разреженности, включая байесовский лассо и оценку «подкова» 2010 года, расширили это мышление на регрессию с высокой размерностью.

Debates

Насколько слабым должно быть априорное распределение по умолчанию?

Продолжается дискуссия о том, как установить масштаб слабоинформативных априорных распределений, чтобы они полезно регуляризовали, не искажая непреднамеренно выводы в соответствующем масштабе.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

Чем слабоинформативное априорное распределение отличается от неинформативного?

Неинформативное априорное распределение стремится добавить как можно меньше информации и может быть несобственным, в то время как слабоинформативное априорное распределение является собственным и намеренно добавляет мягкую информацию для исключения неправдоподобных значений и стабилизации анализа.