Clasificación basada en RoBERTa auto-supervisada

La clasificación basada en RoBERTa auto-supervisada combina las potentes representaciones de lenguaje del transformador RoBERTa —aprendidas de grandes corpus no etiquetados mediante modelado de lenguaje enmascarado— con objetivos auto-supervisados para realizar clasificación de texto con pocos o ningún dato etiquetado por humanos. El enfoque aprovecha texto no etiquetado abundante para generar su propia señal de entrenamiento antes de ajustar finamente en una tarea de clasificación posterior.