Transformador de Visió Multimodal
El Multimodal Vision Transformer (Multimodal ViT) estén l'arquitectura Vision Transformer per processar i alinear conjuntament representacions de múltiples modalitats —típicament imatges i text— utilitzant mecanismes d'autoatenció i d'atenció creuada. Aprenent espais d'incrustació compartits o alineats entre modalitats, permet tasques com la resposta a preguntes visuals, la recuperació d'imatges-text, la localització visual i la generació de descripcions d'imatges.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
Fonts
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/ca/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classificació basada en BERTAprenentatge profund↔ compare
- Vision Transformer ajustat (Fine-Tuned Vision Transformer)Aprenentatge profund↔ compare
- Classificació d'imatgesAprenentatge profund↔ compare
- Classificació multimodal basada en BERTAprenentatge profund↔ compare
- Vision TransformerAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →