Теорема Байеса и апостериорное распределение

Теорема Байеса выражает апостериорное распределение неизвестных параметров как пропорциональное произведению функции правдоподобия данных на априорное распределение, что является основой всего байесовского вывода.

Definition

Теорема Байеса утверждает, что апостериорная плотность p(theta | y) равна произведению функции правдоподобия p(y | theta) на априорное распределение p(theta), деленному на маргинальное правдоподобие p(y); поскольку p(y) не зависит от theta, апостериорное распределение часто записывается как пропорциональное произведению функции правдоподобия на априорное распределение.

Scope

Эта тема охватывает формулировку и вывод теоремы Байеса для статистического вывода, форму пропорциональности, маргинальное правдоподобие, которое нормализует апостериорное распределение, а также способы получения таких сводных характеристик, как апостериорные средние значения, доверительные интервалы и апостериорное предсказательное распределение.

Core questions

• Как апостериорное распределение выводится из априорного распределения и функции правдоподобия?
• Что такое маргинальное правдоподобие и почему оно действует как нормировочная константа?
• Как из апостериорного распределения извлекаются точечные оценки и доверительные интервалы?
• Что такое апостериорное предсказательное распределение и как оно вычисляется?

Key concepts

• априорное распределение
• функция правдоподобия
• апостериорное распределение
• маргинальное правдоподобие
• доверительный интервал
• апостериорное предсказательное распределение
• нормировочная константа

Key theories

Апостериорная пропорциональность

Поскольку маргинальное правдоподобие является константой относительно параметра, вывод зависит только от произведения функции правдоподобия и априорного распределения с точностью до нормировки, что является формой, используемой большинством вычислительных методов.

Апостериорное предсказательное распределение

Будущие или повторные данные предсказываются путем усреднения выборочного распределения по апостериорному распределению, интегрируя неопределенность параметров, а не подставляя точечную оценку.

Clinical relevance

Апостериорный вывод используется везде, где необходимо оценить интересующую величину с калиброванной неопределенностью, включая интерпретацию диагностических тестов, оценку параметров в физических науках и вероятностное прогнозирование.

History

Правило берет свое начало в эссе Байеса 1763 года и было обобщено Лапласом в метод обратной вероятности. Современный акцент на полном апостериорном распределении, а не на единичной оценке обратной вероятности, был закреплен в байесовской литературе 20-го века.

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

Что такое доверительный интервал?

Доверительный интервал — это диапазон, который содержит параметр с заданной апостериорной вероятностью (например, 95%); в отличие от частотного доверительного интервала, это прямое вероятностное утверждение о параметре, учитывающее данные и априорное распределение.

Почему апостериорное распределение может быть записано без вычисления маргинального правдоподобия?

Маргинальное правдоподобие является константой относительно параметра, поэтому оно лишь масштабирует апостериорное распределение; многим алгоритмам, таким как MCMC, апостериорное распределение требуется только с точностью до этой константы.