Гиперприоры и сжатие

Гиперприоры — это априорные распределения, наложенные на параметры верхнего уровня иерархической модели, которые определяют, насколько сильно групповые оценки сжимаются к среднему значению совокупности.

Definition

Гиперприор — это априорное распределение гиперпараметров, которые управляют распределением параметров группового уровня; вместе с данными он определяет апостериорное распределение для дисперсии группового уровня и, следовательно, степень сжатия, применяемого к каждой группе.

Scope

Эта тема охватывает спецификацию априорных распределений для иерархических средних значений и, в особенности, для компонент дисперсии, то, как дисперсия на групповом уровне управляет сжатием, опасность вырожденных апостериорных распределений из-за плохих априорных распределений дисперсии, а также рекомендуемые слабоинформативные варианты, такие как полукошиевские и полунормальные априорные распределения.

Core questions

• Почему дисперсия на групповом уровне контролирует степень сжатия?
• Что происходит, когда для компонента дисперсии используется неподходящее априорное распределение?
• Какие слабоинформативные гиперприоры рекомендуются для параметров масштаба?
• Как сжатие связано с результатами Стейна и эмпирического Байеса?

Key concepts

• гиперприор
• компонента дисперсии
• полукошиевское априорное распределение
• обратно-гамма априорное распределение
• сжатие
• оценка Джеймса-Стейна
• вырожденное апостериорное распределение

Key theories

Априорные распределения компонент дисперсии

Гиперприор для стандартного отклонения на групповом уровне сильно влияет на вывод, когда групп мало; свёрнутые несцентрированные и полукошиевские априорные распределения позволяют избежать патологий обычных обратно-гамма вариантов.

Сжатие как снижение риска

Сжатие многих связанных оценок к общему центру снижает общую среднеквадратичную ошибку, тот же принцип, который делает оценку Джеймса-Стейна доминирующей над выборочным средним.

Clinical relevance

Разумные гиперприоры предотвращают излишне уверенные или нестабильные оценки межгрупповой вариации в метаанализах и многоцентровых исследованиях, где количество групп часто невелико, а дисперсию трудно оценить.

History

Оценка сжатия возникла из результата Стейна 1956 года и работы Эфрона и Морриса по эмпирическому Байесу в 1970-х годах. Анализ Гельмана 2006 года априорных распределений параметров дисперсии прояснил, как выбор гиперприора формирует сжатие в полностью байесовских иерархических моделях.

Debates

Какой априор выбрать для дисперсии на групповом уровне?

Обычные обратно-гамма априорные распределения могут быть непреднамеренно информативными вблизи нуля, поэтому продолжаются дискуссии о полукошиевских, полунормальных и других слабоинформативных априорных распределениях масштаба.

Key figures

• Andrew Gelman
• Bradley Efron
• Carl Morris
• Charles Stein

Seminal works

• gelman2006
• efron1975

Frequently asked questions

Почему бы просто не использовать плоский априор для дисперсии на групповом уровне?

Плоский или стандартный обратно-гамма априор может придавать чрезмерный вес значениям вблизи нуля или быть некорректным, что приводит к коллапсированным или нестабильным апостериорным распределениям, когда групп мало; слабоинформативные априорные распределения масштаба, такие как полукошиевское, ведут себя более надёжно.