Multimodal Vision Transformer (Multimodal ViT)

Un Vision Transformer divide una imagen en parches y los trata como palabras en una oración, alimentándolos a través de capas de autoatención. La extensión multimodal añade una segunda corriente para otra modalidad —la más frecuente es el texto— y permite que las dos corrientes se atiendan mutuamente a través de atención cruzada. Así como BERT aprende relaciones entre palabras, un Multimodal ViT aprende relaciones entre parches visuales y tokens lingüísticos, de modo que el modelo puede responder preguntas sobre una imagen, recuperar la descripción correspondiente o localizar una frase en una región específica de la imagen.