Multimodaler Transformer
Ein multimodaler Transformer erweitert die Standard-Transformer-Architektur, um zwei oder mehr Eingabemodalitäten zu verarbeiten und gemeinsam zu analysieren – am häufigsten Text und Bilder, aber auch Audio, Video oder strukturierte Daten. Cross-modale Aufmerksamkeits-Layer ermöglichen es, dass Informationen aus einer Modalität Darstellungen in einer anderen beeinflussen, was Aufgaben wie visuelle Beantwortung von Fragen, Bildunterschriftengenerierung und multimodale Sentimentanalyse ermöglicht.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
Quellen
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
So zitieren Sie diese Seite
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/de/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-basierte KlassifikationDeep Learning↔ compare
- BildklassifizierungDeep Learning↔ compare
- Multimodale BERT-basierte KlassifikationDeep Learning↔ compare
- Sentence EmbeddingsDeep Learning↔ compare
- Vision TransformerDeep Learning↔ compare
Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →