Multilingual Vision Transformer (Multilingual ViT)

Vision Transformer ya kawaida hugawanya picha katika vipande vya ukubwa sawa na huzitendea kama alama zinazochakatwa na kiendeshi cha Transformer — utaratibu sawa unaotumiwa katika BERT kwa maandishi. Toleo la lugha nyingi huunganisha upachikaji huu wa kuona na kiendeshi cha maandishi cha lugha nyingi kilichofunzwa kwa lugha kadhaa kwa wakati mmoja. Mawazo muhimu ni kwamba sifa za kuona hazina uhusiano na lugha, kwa hivyo mnara wa picha ulioshirikiwa unaweza kuunganishwa na uwakilishi wa maandishi wa lugha nyingi uliojifunzwa kutoka kwa makusanyo ya lugha nyingi. Hii huruhusu modeli iliyofunzwa kwa jozi za picha-maandishi za Kiingereza kuenea kwa maswali ya Kifaransa, Kijerumani, au Kichina bila kufunzwa upya kuanzia mwanzo.