Правдоподобие и Байесовское Обновление

Правдоподобие содержит всю информацию, которую данные предоставляют о параметрах, а Байесовское обновление превращает апостериорное распределение вчерашнего дня в априорное распределение сегодняшнего по мере накопления доказательств.

Definition

Правдоподобие — это плотность выборки наблюдаемых данных, рассматриваемая как функция параметров; Байесовское обновление — это многократное применение теоремы Байеса, так что информация из последовательных наблюдений объединяется в единое апостериорное распределение.

Scope

Эта тема охватывает функцию правдоподобия и принцип правдоподобия, последовательный характер Байесовского обновления, при котором апостериорное распределение из одной партии данных становится априорным для следующей, а также когерентность обновления при взаимозаменяемых наблюдениях.

Core questions

• Что такое функция правдоподобия и почему она занимает центральное место в выводе?
• Что утверждает принцип правдоподобия и как Байесовский вывод удовлетворяет ему?
• Как апостериорное распределение из одного набора данных служит априорным для следующего?
• Почему последовательное Байесовское обновление инвариантно к порядку для взаимозаменяемых данных?

Key concepts

• функция правдоподобия
• принцип правдоподобия
• достаточность
• последовательное обновление
• рекурсия априорного-к-апостериорному
• накопление доказательств

Key theories

Принцип правдоподобия

Два эксперимента, дающие пропорциональные функции правдоподобия для одного и того же параметра, несут одну и ту же доказательную информацию; Байесовский вывод автоматически соблюдает этот принцип.

Последовательное обновление

Многократное применение теоремы Байеса эквивалентно однократному применению ее к объединенным данным, поэтому убеждения могут быть пересмотрены онлайн без сохранения полного набора данных.

Clinical relevance

Последовательное обновление поддерживает адаптивный и промежуточный анализ в клинических испытаниях, системах онлайн-обучения и в любых условиях, где данные поступают потоком и убеждения должны постоянно пересматриваться.

History

Фишер ввел правдоподобие как отдельное понятие в 1920-х годах; анализ Бирнбаума 1962 года формализовал принцип правдоподобия на основе достаточности и условности. Байесовская теория восприняла эти идеи, рассматривая обновление как итеративное обусловливание.

Debates

Статус принципа правдоподобия

Оспаривается, должен ли принцип правдоподобия ограничивать весь вывод, поскольку многие частотные процедуры (например, использующие правила остановки) нарушают его, в то время как Байесовские методы — нет.

Key figures

• Ronald A. Fisher
• Allan Birnbaum
• George Barnard

Seminal works

• birnbaum1962
• robert2007

Frequently asked questions

Имеет ли значение, в каком порядке я обновляю данные по разным точкам?

Для взаимозаменяемых наблюдений конечное апостериорное распределение одинаково независимо от порядка обработки данных, поскольку Байесовское обновление ассоциативно и эквивалентно обусловливанию всех данных одновременно.