確率的推論

確率的推論とは、確率モデルにおいて観測されたエビデンスが与えられた場合のクエリ変数の確率を計算することであり、ベイジアンネットワークやマルコフネットワークにおける中心的な推論タスクです。

Definition

確率的推論は、指定された確率モデルから、観測されたエビデンスを条件とする1つまたは複数のクエリ変数の確率などの事後分布を、厳密に、または近似的に計算します。

Scope

このトピックでは、グラフィカルモデルにおける確率的クエリに答えるアルゴリズムについて扱います。変数消去法、ツリーにおける信念伝播、ジャンクションツリー（クリークツリー）アルゴリズムなどの厳密な手法、およびルーピー信念伝播やモンテカルロサンプリング（棄却サンプリング、尤度重み付け、マルコフ連鎖モンテカルロ）などの近似手法が含まれます。推論の計算上の困難さ、および厳密性とスケーラビリティの間のトレードオフについても論じます。モデル自体の構造については、ベイジアンネットワークの項目で扱います。

Core questions

• 完全な分布を列挙することなく、結合モデルから条件付き確率または周辺確率をどのように計算しますか？
• 変数消去法は、因数分解をどのように利用して厳密な解を効率的に計算しますか？
• 厳密な推論が手に負えないのはどのような場合で、代わりにどのような近似手法が使用されますか？
• サンプリングベースの手法は、事後確率をどのように推定しますか？

Key concepts

• 周辺クエリと条件付きクエリ
• 変数消去法
• 信念伝播（メッセージパッシング）
• ジャンクションツリーとツリー幅
• ルーピー信念伝播
• 棄却サンプリングと尤度重み付け
• マルコフ連鎖モンテカルロ
• 厳密推論と近似推論

Key theories

信念伝播

ツリー構造のネットワークでは、隣接ノード間で局所的なメッセージを渡すことで厳密な事後確率を計算できます。Pearlの信念伝播はこの分散計算を実行し、ルーピーグラフに適用すると、広く使用されている近似推論手法となります。

ジャンクションツリー（クリークツリー）推論

一般的なネットワークにおける厳密な推論は、変数をクリークのツリーにクラスタリングし、その上でメッセージを伝播させることで整理できます。これにより、最大のクリーク（ツリー幅）に対してのみ指数関数的な時間で正しい解が得られます。

サンプリングによる近似推論

厳密な推論が実行不可能な場合、尤度重み付けやマルコフ連鎖モンテカルロなどのモンテカルロ法は、エビデンスと一致するサンプルを抽出し、事後確率を推定します。これにより、厳密性の保証と引き換えにスケーラビリティが得られます。

Clinical relevance

推論アルゴリズムは、確率モデルを使用可能にするものです。これらは、観測されたデータが与えられた場合の隠れ変数の確率を計算することにより、診断および意思決定支援システム、誤り訂正符号（信念伝播を介して）、コンピュータービジョン、音声認識、およびバイオインフォマティクスを支えています。

History

Pearlの信念伝播（1980年代）は、ツリーネットワークに対する厳密な推論を提供し、LauritzenとSpiegelhalterによる1988年のジャンクションツリー法は、クリーク上での局所計算を介して厳密な推論を一般的なネットワークに拡張しました。厳密な推論が一般にNP困難であるという認識は、サンプリングおよび変分近似に関する広範な研究を促しました。

Key figures

• Judea Pearl
• Steffen L. Lauritzen
• David J. Spiegelhalter
• Daphne Koller

Seminal works

• pearl1986
• lauritzen1988

Frequently asked questions

確率的推論は常に扱いやすいですか？

いいえ。一般的なベイジアンネットワークにおける厳密な推論はNP困難であり、そのコストはネットワークのツリー幅とともに増加します。ツリーであるかツリー幅が低いネットワークの場合、厳密な推論は効率的ですが、そうでない場合はサンプリングやルーピー信念伝播などの近似手法が使用されます。

厳密推論と近似推論の違いは何ですか？

変数消去法やジャンクションツリーアルゴリズムなどの厳密推論は、真の事後確率を計算します。モンテカルロサンプリングやルーピー信念伝播などの近似推論は、それらを推定します。これは、大規模または密に結合されたモデルに対して厳密な計算が高価すぎる場合に必要となります。