Multimodale Transformer
Een multimodale Transformer breidt de standaard Transformer-architectuur uit om twee of meer invoermodaliteiten te verwerken en gezamenlijk te redeneren — meestal tekst en afbeeldingen, maar ook audio, video of gestructureerde gegevens. Cross-modale aandachtslagen stellen informatie uit de ene modaliteit in staat om representaties in een andere te informeren, waardoor taken zoals visuele vraagbeantwoording, beeldonderschriften genereren en multimodale sentimentanalyse mogelijk worden.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
Bronnen
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/nl/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-gebaseerde ClassificatieDeep learning↔ compare
- BeeldclassificatieDeep learning↔ compare
- Multimodale BERT-gebaseerde classificatieDeep learning↔ compare
- Sentence EmbeddingsDeep learning↔ compare
- Transformator voor Visuele WaarnemingDeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →