Multimodale Satz-Einbettungen
Multimodale Satz-Einbettungen (multimodal sentence embeddings) bilden Text und Bilder (und manchmal Audio oder Video) in einen gemeinsamen kontinuierlichen Vektorraum ab, sodass semantisch verwandte Paare aus verschiedenen Modalitäten nahe beieinander liegen. Trainiert durch kontrastive Ziele auf großen gepaarten Korpora, ermöglichen diese Repräsentationen die modalitätsübergreifende Suche (cross-modal retrieval), Zero-Shot-Klassifizierung und das Vision-Language-Reasoning.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
Quellen
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), pp. 8748–8763. PMLR. link ↗
- Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M., & Mikolov, T. (2013). DeViSE: A deep visual-semantic embedding model. In Advances in Neural Information Processing Systems (NeurIPS), Vol. 26. link ↗
So zitieren Sie diese Seite
ScholarGate. (2026, June 3). Multimodal Sentence Embeddings (Joint Vision-Language Representation Learning). ScholarGate. https://scholargate.app/de/deep-learning/multimodal-sentence-embeddings
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →