Multilingual Vision Transformer (Multilingual ViT)

En standard Vision Transformer deler et bilde inn i faste lapper (patches) og behandler dem som tokens som prosesseres av en Transformer-enkoder – den samme mekanismen som brukes i BERT for tekst. En flerspråklig variant parer denne visuelle kodingen med en flerspråklig tekstenkoder trent på dusinvis av språk samtidig. Den sentrale innsikten er at visuelle trekk i stor grad er språk-agnostiske, så et delt bilde-tårn kan justeres med flerspråklige tekstlige representasjoner lært fra flerspråklige korpora. Dette gjør at en modell trent på engelske bilde-tekst-par kan generalisere til franske, tyske eller kinesiske spørringer uten omtrening fra bunnen av.