ScholarGate
Asistent
Machine learningDeep learning / NLP / CV

Transformer Vizual Multimodal

Transformerul Vizual Multimodal (Multimodal ViT) extinde arhitectura Transformerului Vizual pentru a procesa și alinia în mod conjunct reprezentări din multiple modalități — de obicei imagini și text — utilizând mecanisme de auto-atenție și atenție încrucișată. Prin învățarea unor spații de încorporare partajate sau aliniate între modalități, acesta permite sarcini precum răspunsul vizual la întrebări, regăsirea imagine-text, fundamentarea vizuală și generarea de legende pentru imagini.

Deschide în MethodMindÎn curândVideoÎn curândDownload slides

Citește metoda completă

Doar pentru membri

Autentifică-te cu un cont gratuit pentru a citi această secțiune.

Autentificare

Method map

The neighbourhood of related methods — select a node to explore.

Transformer Vizual Multimodal
Clasificare bazată pe BE…Vision Transformer (ViT)…Clasificarea ImaginilorClasificare multimodală…Vision TransformerVision Transformer Expli…Vision Transformer multi…Modelul de difuzie multi…Segmentarea instanțelor…Învățare prin consolidar…

+1 more

Surse

  1. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
  2. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗

Cum se citează această pagină

ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/ro/deep-learning/multimodal-vision-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Citat de

Vision Transformer ExplicabilVision Transformer multilingv (Multilingual ViT)Modelul de difuzie multimodalSegmentarea instanțelor multimodaleÎnvățare prin consolidare multimodalăVision Transformer auto-supervizat

Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →

ScholarGate — Multimodal Vision Transformer (Multimodal Vision Transformer (Multimodal ViT)). Preluat la 2026-06-15 de pe https://scholargate.app/ro/deep-learning/multimodal-vision-transformer · Set de date: https://doi.org/10.5281/zenodo.20539026