尤度とベイズ更新

尤度は、データがパラメータに関して提供するすべての情報を含んでおり、ベイズ更新は、証拠が蓄積されるにつれて、昨日の事後分布を今日の事前分布へと変換します。

Definition

尤度とは、観測されたデータの標本密度をパラメータの関数として見たものであり、ベイズ更新とは、ベイズの定理を繰り返し適用することで、連続する観測値からの情報を単一の事後分布に統合することです。

Scope

このトピックでは、尤度関数と尤度原理、あるデータバッチからの事後分布が次のデータバッチの事前分布となるベイズ更新の逐次的な性質、および交換可能な観測値の下での更新の一貫性について扱います。

Core questions

• 尤度関数とは何であり、なぜそれが推論の中心となるのでしょうか？
• 尤度原理は何を主張しており、ベイズ推論はどのようにしてそれを満たすのでしょうか？
• あるデータセットからの事後分布は、どのようにして次のデータセットの事前分布として機能するのでしょうか？
• 交換可能なデータに対して、逐次的なベイズ更新が順序不変であるのはなぜでしょうか？

Key concepts

• 尤度関数
• 尤度原理
• 十分性
• 逐次更新
• 事前-事後再帰
• 証拠蓄積

Key theories

尤度原理

同じパラメータに対して比例する尤度関数をもたらす2つの実験は、同じ証拠情報を含んでいます。ベイズ推論はこの原理を自動的に尊重します。

逐次更新

ベイズの定理を繰り返し適用することは、プールされたデータに一度適用することと等価であるため、完全なデータセットを保存することなく、信念をオンラインで修正することができます。

Clinical relevance

逐次更新は、臨床試験における適応的解析や中間解析、オンライン学習システム、およびデータがストリームで到着し、信念を継続的に修正する必要があるあらゆる設定をサポートします。

History

フィッシャーは1920年代に尤度を明確な概念として導入しました。バーンバウムの1962年の分析は、十分性と条件性から尤度原理を形式化しました。ベイズ理論はこれらのアイデアを取り入れ、更新を反復的な条件付けとして位置づけました。

Debates

尤度原理の地位

尤度原理がすべての推論を制約すべきかどうかは議論の的となっています。なぜなら、多くの頻度主義的手法（停止規則を使用するものなど）はそれに違反する一方で、ベイズ的手法は違反しないからです。

Key figures

• Ronald A. Fisher
• Allan Birnbaum
• George Barnard

Seminal works

• birnbaum1962
• robert2007

Frequently asked questions

異なるデータポイントを更新する順序は重要ですか？

交換可能な観測値の場合、ベイズ更新は結合的であり、すべてのデータに一度に条件付けすることと等価であるため、データが処理される順序に関わらず最終的な事後分布は同じになります。