Multimodal Transformer
A Multimodal Transformer extends the standard Transformer architecture to process and jointly reason over two or more input modalities — most commonly text and images, but also audio, video, or structured data. Cross-modal attention layers allow information from one modality to inform representations in another, enabling tasks such as visual question answering, image captioning, and multimodal sentiment analysis.
Bronrecord
Citaten letterlijk overgenomen uit het bronrecord van de methode. Hieruit wordt geen verificatie op claimniveau afgeleid.
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. · URL
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. · URL
Gecureerde claims
Claims opgeslagen in het bewijsregister, elk met zijn eigen beoordeling.
Deze weergave verzint geen claimbeoordeling als het register er geen heeft.
Gerelateerde methoden
Gegenereerd uit de methodegraaf en getoond als machinaal voorgestelde relaties — er wordt geen bewijsclaim afgeleid.