Vision Transformer Multimodal

Vision Transformer Multimodal (ViT Multimodal) memperluas arsitektur Vision Transformer untuk memproses dan menyelaraskan representasi dari berbagai modalitas — biasanya gambar dan teks — secara bersamaan menggunakan mekanisme perhatian diri (self-attention) dan perhatian silang (cross-attention). Dengan mempelajari ruang penyematan (embedding space) bersama atau yang selaras di berbagai modalitas, ia memungkinkan tugas-tugas seperti tanya jawab visual, pengambilan gambar-teks, penjejakan visual, dan pembuatan keterangan gambar.