Мультимодальний трансформер бачення

Мультимодальний Vision Transformer (Multimodal ViT) розширює архітектуру Vision Transformer для спільної обробки та узгодження представлень з кількох модальностей — зазвичай зображень і тексту — за допомогою механізмів самостійної уваги (self-attention) та перехресної уваги (cross-attention). Завдяки вивченню спільних або узгоджених просторів вбудовування між модальностями, він уможливлює такі завдання, як відповіді на візуальні запитання, пошук зображень за текстом, візуальне заземлення та генерування підписів до зображень.