Réseau neuronal récurrent multimodal

Un réseau neuronal récurrent multimodal combine des entrées provenant de deux modalités de données ou plus — telles que des images, du texte et de l'audio — au sein d'un cadre de traitement séquentiel récurrent. Il encode chaque modalité séparément, fusionne les représentations, puis traite le signal combiné à travers des unités récurrentes (RNN, LSTM ou GRU) pour générer ou classifier des sorties séquentielles. Cette conception en a fait une approche fondamentale dans la génération de légendes d'images, la description vidéo et la reconnaissance de la parole audio-visuelle.