Байесовские факторы и маргинальное правдоподобие

Маргинальное правдоподобие — это вероятность данных при данной модели после интегрирования ее параметров, а отношение двух маргинальных правдоподобий, байесовский фактор, измеряет доказательства между моделями.

Definition

Маргинальное правдоподобие модели — это интеграл правдоподобия по априорному распределению; байесовский фактор между двумя моделями — это отношение их маргинальных правдоподобий, и, умноженный на априорные шансы, он дает апостериорные шансы в пользу одной модели.

Scope

Эта тема охватывает определение и интерпретацию маргинального правдоподобия, байесовского фактора и его калибровку по категориям доказательств, его автоматическую пенализацию сложности, парадокс Джеффриса-Линдли, демонстрирующий чувствительность к диффузным априорным распределениям, а также вычислительные методы, такие как мостовая выборка (bridge sampling).

Core questions

• Что такое маргинальное правдоподобие и как оно воплощает автоматическую бритву Оккама?
• Как байесовский фактор интерпретируется как сила доказательства?
• Почему байесовские факторы чувствительны к выбору априорного распределения, как показано парадоксом Джеффриса-Линдли?
• Как на практике вычисляется маргинальное правдоподобие?

Key concepts

• маргинальное правдоподобие
• байесовский фактор
• апостериорные шансы
• бритва Оккама
• парадокс Джеффриса-Линдли
• мостовая выборка
• чувствительность к априорному распределению

Key theories

Байесовский фактор как доказательство

Байесовский фактор преобразует априорные шансы в апостериорные шансы и считывается по калиброванным шкалам как вес доказательств, которые данные предоставляют в пользу одной модели по сравнению с другой.

Парадокс Джеффриса-Линдли

Поскольку маргинальное правдоподобие зависит от разброса априорного распределения, произвольно диффузное априорное распределение может заставить байесовский фактор отдавать предпочтение более простой модели независимо от данных, поэтому несобственные априорные распределения не должны использоваться для сравнения моделей.

Clinical relevance

Байесовские факторы предоставляют принципиальную меру доказательств, используемую в генетике, психологии и физике для сравнения гипотез, но их зависимость от априорного распределения означает, что они должны сообщаться вместе с априорными распределениями, которые их породили.

History

Джеффрис разработал байесовские факторы для проверки гипотез в 1930-х годах; парадокс Линдли 1957 года выявил их чувствительность к диффузным априорным распределениям. Обзор Касса и Рафтери 1995 года стандартизировал их интерпретацию и рассмотрел вычислительные подходы.

Debates

Использование несобственных или неопределенных априорных распределений

Поскольку маргинальное правдоподобие не определено для несобственных априорных распределений и нестабильно для очень диффузных, существует дискуссия о стандартных априорных распределениях для сравнения моделей и о том, уместны ли байесовские факторы вообще в таких условиях.

Key figures

• Harold Jeffreys
• Dennis Lindley
• Robert Kass
• Adrian Raftery

Seminal works

• kass1995
• lindley1957

Frequently asked questions

Могу ли я использовать неинформативное априорное распределение для вычисления байесовского фактора?

В целом нет: несобственные априорные распределения оставляют маргинальное правдоподобие неопределенным, а очень диффузные собственные априорные распределения смещают байесовский фактор в сторону более простой модели, что является сутью парадокса Джеффриса-Линдли, поэтому байесовские факторы требуют тщательно выбранных собственных априорных распределений.