Transformeur à adaptation de domaine

Un Transformeur à adaptation de domaine (DAT) est un modèle basé sur le Transformeur — tel que BERT ou ViT — étendu avec un objectif explicite d'alignement de domaine afin que les représentations apprises se transfèrent bien d'un domaine source étiqueté vers un domaine cible différent, souvent non étiqueté. L'approche combine la puissante capacité de représentation des Transformeurs avec des techniques d'adaptation de domaine telles que l'entraînement contradictoire ou l'alignement contrastif pour minimiser le décalage de domaine.