Transformer Adattivo al Dominio

Un Transformer Adattivo al Dominio (DAT) è un modello basato su Transformer — come BERT o ViT — esteso con un obiettivo esplicito di allineamento del dominio, in modo che le rappresentazioni apprese si trasferiscano bene da un dominio sorgente etichettato a un dominio di destinazione diverso, spesso non etichettato. L'approccio combina la potente capacità rappresentativa dei Transformer con tecniche di adattamento del dominio come l'addestramento avversariale o l'allineamento contrastivo per minimizzare lo spostamento del dominio.