Modelos de Variables Latentes y de Mezclas

Los modelos de variables latentes y de mezclas explican los datos observados a través de variables ocultas, ajustándolos mediante la inferencia alternada de la estructura oculta y la actualización de los parámetros.

Definition

Un modelo de variable latente representa cada observación como generada con la ayuda de variables no observadas, como qué componente de la mezcla produjo un punto; el algoritmo de expectativa-maximización estima los parámetros iterando entre el cálculo de los valores esperados de las variables latentes y la maximización de la verosimilitud esperada resultante.

Scope

Este tema abarca los modelos probabilísticos con variables no observadas: modelos de mezcla finita como la mezcla gaussiana, modelos ocultos de Markov para secuencias y el algoritmo de expectativa-maximización que los ajusta maximizando la verosimilitud. También cubre la conexión con el agrupamiento suave, la estimación de densidad y la visión variacional de EM como una delimitación de la verosimilitud de los datos.

Core questions

• ¿Cómo explican las variables ocultas los datos observados?
• ¿Cómo aumenta el algoritmo de expectativa-maximización la verosimilitud en cada paso?
• ¿Cómo realizan las mezclas gaussianas el agrupamiento suave y la estimación de densidad?
• ¿Por qué EM podría converger solo a un óptimo local?

Key theories

El algoritmo de expectativa-maximización

EM alterna un paso de expectativa que infiere la distribución sobre las variables latentes con un paso de maximización que actualiza los parámetros, sin disminuir la verosimilitud de los datos y convergiendo a un punto estacionario.

Modelos de mezcla gaussiana

Modelar los datos como una suma ponderada de componentes gaussianos produce estimaciones de densidad flexibles y asignaciones de clúster suaves, con cada punto recibiendo una probabilidad de pertenecer a cada componente.

EM como maximización de cota inferior

EM puede verse como la maximización de una cota inferior variacional de la log-verosimilitud, una perspectiva que se generaliza a la inferencia aproximada en modelos de variables latentes más complejos.

Clinical relevance

Los modelos de variables latentes sustentan el agrupamiento suave, la estimación de densidad, la imputación de datos faltantes y el modelado de secuencias con modelos ocultos de Markov en el habla y la bioinformática; el algoritmo de expectativa-maximización en el que se basan es uno de los procedimientos de optimización más utilizados en estadística y aprendizaje automático.

History

Casos especiales de la idea de expectativa-maximización aparecieron en genética y problemas de datos incompletos antes de que Dempster, Laird y Rubin dieran la formulación general en 1977. Las mezclas gaussianas y los modelos ocultos de Markov se convirtieron en herramientas estándar de variables latentes, y la reinterpretación variacional de EM la conectó más tarde con los métodos modernos de inferencia aproximada.

Key figures

• Arthur Dempster
• Nan Laird
• Donald Rubin

Seminal works

• dempster1977
• bishop2006
• murphy2012

Frequently asked questions

¿Qué es una variable latente?

Una variable latente es una cantidad no observada incluida en un modelo para explicar los datos observados, como qué clúster oculto generó un punto de datos. El modelo infiere una distribución sobre estas variables ocultas en lugar de medirlas directamente.

¿Por qué el algoritmo EM puede quedarse atascado?

EM aumenta la verosimilitud en cada paso, pero solo garantiza la convergencia a un máximo local o punto estacionario. Diferentes inicializaciones pueden conducir a diferentes soluciones, por lo que los profesionales a menudo lo ejecutan varias veces desde diferentes valores de partida.