Transformeur Multimodal
Un transformeur multimodal étend l'architecture standard du transformeur pour traiter et raisonner conjointement sur deux modalités d'entrée ou plus — le plus souvent du texte et des images, mais aussi de l'audio, de la vidéo ou des données structurées. Les couches d'attention intermodale permettent à l'information d'une modalité d'informer les représentations d'une autre, permettant des tâches telles que la réponse visuelle aux questions, le légendage d'images et l'analyse multimodale des sentiments.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
Sources
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Comment citer cette page
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/fr/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classification basée sur BERTApprentissage profond↔ compare
- Classification d'imagesApprentissage profond↔ compare
- Classification multimodale basée sur BERTApprentissage profond↔ compare
- Plongements de phrasesApprentissage profond↔ compare
- Vision TransformerApprentissage profond↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →