Multimodal Vision Transformer

Ο Πολυτροπικός Μετασχηματιστής Όρασης (Multimodal ViT) επεκτείνει την αρχιτεκτονική του Μετασχηματιστή Όρασης (Vision Transformer) για να επεξεργάζεται και να ευθυγραμμίζει από κοινού αναπαραστάσεις από πολλαπλές τροπικότητες — τυπικά εικόνες και κείμενο — χρησιμοποιώντας μηχανισμούς αυτο-προσοχής (self-attention) και διασταυρούμενης προσοχής (cross-attention). Μαθαίνοντας κοινούς ή ευθυγραμμισμένους χώρους ενσωμάτωσης (embedding spaces) μεταξύ των τροπικοτήτων, επιτρέπει εργασίες όπως η απάντηση ερωτήσεων σχετικά με εικόνες (visual question answering), η ανάκτηση αντιστοιχίας εικόνας-κειμένου (image-text retrieval), η οπτική θεμελίωση (visual grounding) και η παραγωγή λεζάντας εικόνας (image captioning).