Multimodal Doc2Vec (Paragraph Vector with Multi-Source Input)

Το κλασικό Doc2Vec μαθαίνει ένα διάνυσμα σταθερού μήκους για κάθε έγγραφο προβλέποντας λέξεις στο πλαίσιο, αλλά βλέπει μόνο κείμενο. Τα έγγραφα του πραγματικού κόσμου — ειδησεογραφικά άρθρα με φωτογραφίες, καταχωρήσεις προϊόντων με εικόνες και περιγραφές, ή επιστημονικές εργασίες με σχήματα — μεταφέρουν νόημα μέσω πολλαπλών καναλιών. Το Multimodal Doc2Vec αντιμετωπίζει αυτό κωδικοποιώντας κάθε τροπικότητα σε μια δική της ενδιάμεση αναπαράσταση και στη συνέχεια συγχωνεύοντας αυτές τις αναπαραστάσεις, εκπαιδεύοντας το συνδυασμένο διάνυσμα εγγράφου έτσι ώστε τα σήματα κειμένου και οπτικά (ή άλλα) σήματα να ενισχύουν το ένα το άλλο. Το αποτέλεσμα είναι μια ενσωμάτωση που αντικατοπτρίζει το πλήρες έγγραφο και όχι μόνο τις λέξεις του.