Transformer zinazobadilika na dhima (Domain-Adaptive Transformer - DAT)

Transformer iliyofunzwa awali ya kawaida hujua mengi kuhusu lugha au picha kwa ujumla, lakini wakati seti data lengwa inatoka kwa usambazaji tofauti — maelezo ya kimatibabu dhidi ya habari za magazeti, au picha za setilaiti dhidi ya picha za barabarani — vipengele vya modeli vinaweza visihamishwe kwa usafi. Transformer inayobadilika na dhima huongeza ishara ya pili ya mafunzo inayoisukuma modeli kutoa uwakilishi unaoonekana sawa bila kujali ilitoka dhima gani. Kwa kupunguza kwa pamoja hasara ya kazi na utofauti wa dhima, modeli hujifunza vipengele ambavyo vinatofautisha kwa kazi na havibadiliki na utambulisho wa dhima, hivyo hufanya kazi vizuri kwenye dhima lengwa hata bila mifano ya lengwa yenye lebo.