Multimodal Vision Transformer (Multimodal ViT)

Vision Transformer dzieli obraz na fragmenty (patches) i traktuje je jak słowa w zdaniu, przepuszczając je przez warstwy uwagi własnej. Rozszerzenie multimodalne dodaje drugi strumień dla innej modalności — najczęściej tekstu — i pozwala tym dwóm strumieniom na wzajemne zwracanie na siebie uwagi poprzez mechanizm uwagi krzyżowej. Tak jak BERT uczy się relacji między słowami, tak Multimodal ViT uczy się relacji między fragmentami wizualnymi a tokenami językowymi, dzięki czemu model może odpowiadać na pytania dotyczące obrazu, wyszukiwać pasujący opis lub lokalizować frazę w konkretnym regionie obrazu.