Multimodal Vision Transformer

Um Vision Transformer divide uma imagem em blocos (patches) e os trata como palavras em uma frase, alimentando-os através de camadas de autoatenção. A extensão multimodal adiciona um segundo fluxo para outra modalidade — mais frequentemente texto — e permite que os dois fluxos atendam um ao outro através de atenção cruzada. Assim como o BERT aprende relações entre palavras, um Multimodal ViT aprende relações entre blocos visuais e tokens linguísticos, de modo que o modelo possa responder a perguntas sobre uma imagem, recuperar a legenda correspondente ou localizar uma frase em uma região específica da imagem.