Multimodal Vision Transformer (Multimodal ViT)

Un Vision Transformer divise une image en patchs et les traite comme des mots dans une phrase, les faisant passer par des couches d'auto-attention. L'extension multimodale ajoute un second flux pour une autre modalité — le plus souvent du texte — et laisse les deux flux s'attirer mutuellement par attention croisée. Tout comme BERT apprend les relations entre les mots, un Multimodal ViT apprend les relations entre les patchs visuels et les jetons linguistiques, de sorte que le modèle puisse répondre à des questions sur une image, retrouver la légende correspondante ou localiser une phrase dans une région d'image spécifique.