Domain-Adaptive Transformer

Ein Domain-Adaptive Transformer (DAT) ist ein auf der Transformer-Architektur basierendes Modell – wie BERT oder ViT –, das um ein explizites Ziel zur Domänenanpassung erweitert wird, sodass gelernte Repräsentationen gut von einer gelabelten Quell-Domäne in eine andere, oft ungelabelte, Ziel-Domäne übertragen werden können. Der Ansatz kombiniert die leistungsfähige Repräsentationskapazität von Transformern mit Techniken zur Domänenanpassung wie adversarialem Training oder kontrastiver Ausrichtung, um den Domänen-Shift zu minimieren.