Agrupamiento basado en modelos

El agrupamiento basado en modelos trata los datos como si surgieran de una mezcla finita de distribuciones de probabilidad, donde cada componente representa un clúster, y estima el modelo por máxima verosimilitud.

Definition

El agrupamiento basado en modelos es un enfoque que modela la población como una mezcla de distribuciones de componentes, asigna a cada observación una probabilidad posterior de pertenecer a cada componente y, de este modo, deriva los clústeres como los componentes de la mezcla estimados.

Scope

Este tema cubre los modelos de mezcla finita, más comúnmente las mezclas gaussianas, el algoritmo de expectativa-maximización para estimar los parámetros de la mezcla y las membresías posteriores de los clústeres, las parametrizaciones de las covarianzas de los componentes que controlan la forma y orientación de los clústeres, y el uso de criterios de información para seleccionar el número de componentes.

Core questions

• ¿Cómo se puede enmarcar el agrupamiento como un problema de estimación estadística?
• ¿Cómo se estiman los parámetros de la mezcla y las membresías blandas de los clústeres?
• ¿Cómo controlan las parametrizaciones de covarianza la geometría de los clústeres?
• ¿Cómo se selecciona el número de componentes de la mezcla?

Key theories

Formulación de mezcla finita

Se asume que cada observación se extrae de una de varias distribuciones de componentes con proporciones de mezcla desconocidas, por lo que el agrupamiento se reduce a estimar los componentes y asignar probabilidades de membresía posteriores.

Estimación por expectativa-maximización

Al tratar las etiquetas de los clústeres como datos faltantes, el algoritmo EM alterna entre calcular las membresías esperadas y reestimar los parámetros de los componentes, convergiendo a un ajuste de máxima verosimilitud de la mezcla.

Clinical relevance

El agrupamiento basado en modelos proporciona asignaciones probabilísticas de clústeres y una selección de modelos basada en principios, y se aplica en la estimación de densidad, la clasificación de subpoblaciones y en entornos donde los clústeres superpuestos o con formas diferentes requieren un modelo estadístico.

History

Los modelos de mezcla finita tienen una larga historia estadística, pero su uso como marco de agrupamiento se expandió con el algoritmo de expectativa-maximización y con las parametrizaciones de covarianza y los criterios de selección de modelos que hicieron que el agrupamiento de mezclas gaussianas fuera práctico y ampliamente disponible.

Debates

Selección del número de componentes

Los criterios de información, como el criterio de información bayesiano, se utilizan comúnmente para elegir el número de componentes de la mezcla, pero la selección basada en la verosimilitud puede ser sensible a los supuestos del modelo y a los componentes superpuestos.

Key figures

• Geoffrey McLachlan
• Adrian Raftery
• Chris Fraley

Seminal works

• mclachlan2000
• fraley2002
• hastie2009

Frequently asked questions

¿En qué se diferencia el agrupamiento basado en modelos de k-means?

K-means realiza asignaciones duras minimizando la distancia al cuadrado e implícitamente asume clústeres esféricos, mientras que el agrupamiento basado en modelos ajusta una mezcla de probabilidad, proporciona membresías blandas y puede modelar clústeres de diferentes formas, tamaños y orientaciones.

¿Qué hace el algoritmo EM aquí?

Estima iterativamente la probabilidad de que cada observación pertenezca a cada clúster y luego actualiza las distribuciones de los clústeres, repitiendo hasta que la verosimilitud de la mezcla se estabiliza.