Multimodal Vision Transformer (Multimodal ViT)

Vision Transformer jakaa kuvan osiin (patch) ja käsittelee niitä kuin lauseen sanoja syöttämällä ne itsehuomiokerrosten läpi. Multimodaalinen laajennus lisää toisen virran toiselle modaliteetille – useimmiten tekstille – ja antaa näiden kahden virran huomioida toisiaan ristiinhuomiomekanismin avulla. Aivan kuten BERT oppii sanojen välisiä suhteita, Multimodal ViT oppii suhteita visuaalisten osien ja kielellisten tokenien välillä, jotta malli voi vastata kuvaan liittyviin kysymyksiin, hakea vastaavan kuvatekstin tai kohdistaa lauseen tiettyyn kuva-alueeseen.