Plongements de phrases auto-supervisés

Les plongements de phrases auto-supervisés entraînent un encodeur neuronal à mapper des phrases dans un espace vectoriel dense sans nécessiter de paires étiquetées manuellement. En construisant automatiquement des exemples positifs — par exemple, en passant la même phrase deux fois à travers le dropout — et en utilisant des objectifs contrastifs, le modèle apprend des représentations sémantiquement riches qui se transfèrent bien aux tâches de similarité, de recherche et de classification.