Самостоятельное обучение для моделирования тем

Самостоятельное обучение для моделирования тем (Self-supervised topic modeling) сочетает интерпретируемое обнаружение тем классических моделей с целями самостоятельного обучения — такими как контрастная потеря, моделирование маскированных языковых моделей или реконструкция — для изучения связных, семантически богатых тем из неразмеченного текста без человеческой разметки. Это связывает классические вероятностные модели тем и современное обучение представлений, позволяя получить темы, лучше соответствующие контекстуальному смыслу.