Мультимодальный Vision Transformer

Мультимодальный Vision Transformer (Multimodal ViT) расширяет архитектуру Vision Transformer для совместной обработки и выравнивания представлений из нескольких модальностей — обычно изображений и текста — с использованием механизмов самовнимания (self-attention) и перекрестного внимания (cross-attention). Обучая общие или выровненные пространства вложений (embedding spaces) между модальностями, он позволяет решать такие задачи, как ответы на вопросы по изображениям (visual question answering), поиск изображений по тексту и наоборот (image-text retrieval), визуальное определение местоположения объектов (visual grounding) и генерация подписей к изображениям (image captioning).