潜在変数モデルと混合モデル

潜在変数モデルと混合モデルは、観測されたデータを隠れた変数によって説明し、隠れた構造を交互に推論し、パラメーターを更新することによって適合させます。

Definition

潜在変数モデルは、各観測値を、どの混合成分が点を生成したかのような観測されない変数の助けを借りて生成されたものとして表現します。期待値最大化アルゴリズムは、潜在変数の期待値を計算することと、結果として得られる期待尤度を最大化することの間で反復することによってパラメーターを推定します。

Scope

このトピックでは、観測されない変数を持つ確率モデルについて扱います。例えば、ガウス混合モデルのような有限混合モデル、シーケンスのための隠れマルコフモデル、そしてそれらを最尤法によって適合させる期待値最大化（EM）アルゴリズムなどです。また、ソフトクラスタリング、密度推定、およびEMの変分的な見方としてデータ尤度を境界付けることとの関連性についても扱います。

Core questions

• 隠れた変数は観測されたデータをどのように説明するのでしょうか？
• 期待値最大化アルゴリズムは各ステップで尤度をどのように増加させるのでしょうか？
• ガウス混合モデルはどのようにソフトクラスタリングと密度推定を実行するのでしょうか？
• EMが局所最適解にしか収束しないのはなぜでしょうか？

Key theories

期待値最大化アルゴリズム

EMは、潜在変数に関する分布を推論する期待（E）ステップと、パラメーターを更新する最大化（M）ステップを交互に実行します。これにより、データ尤度が減少することはなく、定常点に収束することが証明されています。

ガウス混合モデル

データをガウス成分の重み付き和としてモデル化することで、柔軟な密度推定とソフトクラスタリングの割り当てが得られ、各点は各成分に属する確率が与えられます。

下限最大化としてのEM

EMは、対数尤度の変分下限を最大化するものとして見なすことができ、この視点は、より複雑な潜在変数モデルにおける近似推論へと一般化されます。

Clinical relevance

潜在変数モデルは、ソフトクラスタリング、密度推定、欠損データ補完、および音声認識やバイオインフォマティクスにおける隠れマルコフモデルを用いたシーケンスモデリングの基盤となります。それらが依拠する期待値最大化アルゴリズムは、統計学および機械学習において最も広く用いられている最適化手順の一つです。

History

期待値最大化のアイデアの特殊なケースは、Dempster、Laird、Rubinが1977年に一般的な定式化を与える以前から、遺伝学や不完全データ問題において現れていました。ガウス混合モデルと隠れマルコフモデルは標準的な潜在変数ツールとなり、EMの変分的な再解釈は後に、より現代的な近似推論手法と結びつけられました。

Key figures

• Arthur Dempster
• Nan Laird
• Donald Rubin

Seminal works

• dempster1977
• bishop2006
• murphy2012

Frequently asked questions

潜在変数とは何ですか？

潜在変数とは、観測されたデータを説明するためにモデルに含まれる観測されない量であり、例えば、どの隠れたクラスターがデータ点を生成したかなどが挙げられます。モデルは、これらの隠れた変数を直接測定するのではなく、それらの分布を推論します。

EMアルゴリズムが停滞することがあるのはなぜですか？

EMは各ステップで尤度を増加させますが、局所最大値または定常点への収束のみを保証します。異なる初期化は異なる解につながる可能性があるため、実務者はしばしば異なる開始値から複数回実行します。