Multilingual Vision Transformer (Multilingual ViT)

Štandardný Vision Transformer rozdeľuje obraz na záplaty (patches) pevnej veľkosti a spracúva ich ako tokeny pomocou Transformer enkodéra — rovnakého mechanizmu, aký sa používa v BERT pre text. Multilingválna varianta spája toto vizuálne kódovanie s multilingválnym textovým enkodérom trénovaným súčasne na desiatkach jazykov. Kľúčovým poznatkom je, že vizuálne príznaky sú do značnej miery jazykovo agnostické, takže zdieľaný obrazový „tower“ (blok) môže byť zosúladený s multilingválnymi textovými reprezentáciami naučenými z multilingválnych korpusov. To umožňuje modelu trénovanému na pároch obraz-titulok v angličtine generalizovať na francúzske, nemecké alebo čínske dopyty bez potreby opätovného trénovania od začiatku.