Modelado de temas autosupervisado

El modelado de temas autosupervisado combina el descubrimiento de temas interpretable de los modelos de temas clásicos con objetivos de aprendizaje autosupervisado —como la pérdida contrastiva, el modelado de lenguaje enmascarado o la reconstrucción— para aprender temas coherentes y semánticamente ricos a partir de texto no etiquetado sin etiquetas anotadas por humanos. Tiende un puente entre los modelos de temas probabilísticos clásicos y el aprendizaje de representaciones moderno, produciendo temas mejor alineados con el significado contextual.