Модели со скрытыми переменными и смешанными распределениями

Модели со скрытыми переменными и смешанными распределениями объясняют наблюдаемые данные через скрытые переменные, подгоняя их путем попеременного вывода скрытой структуры и обновления параметров.

Definition

Модель со скрытыми переменными представляет каждое наблюдение как сгенерированное с помощью ненаблюдаемых переменных, например, какой компонент смеси произвел точку; алгоритм максимизации ожидания оценивает параметры путем итерации между вычислением ожидаемых значений скрытых переменных и максимизацией результирующего ожидаемого правдоподобия.

Scope

Эта тема охватывает вероятностные модели с ненаблюдаемыми переменными: модели конечных смесей, такие как гауссова смесь, скрытые марковские модели для последовательностей и алгоритм максимизации ожидания, который подгоняет их путем максимизации правдоподобия. Она также охватывает связь с мягкой кластеризацией, оценкой плотности и вариационным представлением EM как ограничения правдоподобия данных.

Core questions

• Как скрытые переменные объясняют наблюдаемые данные?
• Как алгоритм максимизации ожидания увеличивает правдоподобие на каждом шаге?
• Как гауссовы смеси выполняют мягкую кластеризацию и оценку плотности?
• Почему EM может сходиться только к локальному оптимуму?

Key theories

Алгоритм максимизации ожидания

EM чередует шаг ожидания, который выводит распределение по скрытым переменным, с шагом максимизации, который обновляет параметры, доказуемо никогда не уменьшая правдоподобие данных и сходясь к стационарной точке.

Модели гауссовых смесей

Моделирование данных как взвешенной суммы гауссовых компонент дает гибкие оценки плотности и мягкие присвоения кластеров, при этом каждой точке присваивается вероятность принадлежности к каждому компоненту.

EM как максимизация нижней границы

EM можно рассматривать как максимизацию вариационной нижней границы логарифмического правдоподобия, что является перспективой, которая обобщается на приближенный вывод в более сложных моделях со скрытыми переменными.

Clinical relevance

Модели со скрытыми переменными лежат в основе мягкой кластеризации, оценки плотности, вменения пропущенных данных и моделирования последовательностей с помощью скрытых марковских моделей в речевых технологиях и биоинформатике; алгоритм максимизации ожидания, на котором они основаны, является одной из наиболее широко используемых процедур оптимизации в статистике и машинном обучении.

History

Частные случаи идеи максимизации ожидания появились в генетике и задачах с неполными данными до того, как Демпстер, Лэрд и Рубин представили общую формулировку в 1977 году. Гауссовы смеси и скрытые марковские модели стали стандартными инструментами со скрытыми переменными, а вариационная переинтерпретация EM позже связала его с современными методами приближенного вывода.

Key figures

• Arthur Dempster
• Nan Laird
• Donald Rubin

Seminal works

• dempster1977
• bishop2006
• murphy2012

Frequently asked questions

Что такое скрытая переменная?

Скрытая переменная — это ненаблюдаемая величина, включенная в модель для объяснения наблюдаемых данных, например, какой скрытый кластер сгенерировал точку данных. Модель выводит распределение по этим скрытым переменным, а не измеряет их напрямую.

Почему алгоритм EM может застрять?

EM увеличивает правдоподобие на каждом шаге, но гарантирует сходимость только к локальному максимуму или стационарной точке. Различные инициализации могут приводить к разным решениям, поэтому на практике его часто запускают несколько раз с разными начальными значениями.