Сопряжённые априорные распределения

Сопряжённое априорное распределение сохраняет апостериорное распределение в том же семействе распределений, что и априорное, превращая байесовское обновление в простое обновление параметров семейства.

Definition

Семейство априорных распределений сопряжено с данной функцией правдоподобия, если для любых данных результирующее апостериорное распределение принадлежит тому же семейству; апостериорное распределение получается путём обновления гиперпараметров семейства в замкнутой форме.

Scope

Эта тема охватывает определение сопряжённости, стандартные сопряжённые пары (бета-биномиальное, гамма-пуассоновское, нормальное-нормальное, нормальное-обратное гамма, дирихле-мультиномиальное), связь с экспоненциальными семействами и интерпретацию априорных параметров как псевдосчётов или размера априорной выборки.

Core questions

• Что означает, что априорное распределение сопряжено с функцией правдоподобия?
• Какие сопряжённые пары возникают для распространённых моделей экспоненциального семейства?
• Как сопряжённые гиперпараметры действуют как априорные псевдоданные?
• Почему сопряжённость следует из структуры экспоненциальных семейств?

Key concepts

• сопряжённое априорное распределение
• бета-биномиальное
• гамма-пуассоновское
• нормальное-нормальное
• дирихле-мультиномиальное
• экспоненциальное семейство
• гиперпараметры
• априорные псевдосчёты

Key theories

Сопряжённость экспоненциального семейства

Диаконис и Илвисакер охарактеризовали сопряжённые априорные распределения для функций правдоподобия экспоненциального семейства и показали, что они подразумевают апостериорные ожидания, которые линейны по достаточным статистикам.

Априорное распределение как псевдоданные

Сопряжённые гиперпараметры могут быть интерпретированы как счётчики и суммы воображаемого априорного набора данных, поэтому апостериорное распределение аддитивно объединяет реальные и априорные псевдонаблюдения.

Clinical relevance

Сопряжённые модели обеспечивают быстрые, прозрачные обновления, которые широко используются для оценки пропорций и частот, адаптивной рандомизации и в качестве строительных блоков в более крупных анализах, основанных на выборке.

History

Райффа и Шлайфер систематизировали сопряжённый анализ для задач принятия решений в 1961 году; Диаконис и Илвисакер дали общую характеристику для экспоненциальных семейств в 1979 году. Сопряжённость остаётся центральным компонентом в современных вычислительных схемах, таких как сэмплирование по Гиббсу.

Key figures

• Howard Raiffa
• Robert Schlaifer
• Persi Diaconis

Seminal works

• diaconis1979
• gelman2013

Frequently asked questions

Зачем использовать сопряжённые априорные распределения, если компьютеры могут обрабатывать любое априорное распределение?

Сопряжённые априорные распределения дают точные апостериорные распределения в замкнутой форме, которые являются быстрыми и интерпретируемыми, и они часто служат полными условными обновлениями внутри сэмплеров Гиббса, даже если общая модель не является сопряжённой.