Multimodal Vision Transformer (Multimodal ViT)

Vision Transformer membahagikan imej kepada tampalan (patches) dan menganggapnya seperti perkataan dalam ayat, lalu memasukkannya melalui lapisan perhatian kendiri. Pelanjutan multimodal menambahkan aliran kedua untuk modaliti lain — paling kerap teks — dan membenarkan kedua-dua aliran memberi perhatian antara satu sama lain melalui perhatian silang. Sama seperti BERT mempelajari perhubungan antara perkataan, Multimodal ViT mempelajari perhubungan antara tampalan visual dan token linguistik, supaya model dapat menjawab soalan tentang imej, mendapatkan semula kapsyen yang sepadan, atau membumikan frasa dalam kawasan imej tertentu.