Multimodal Vision Transformer (Multimodal ViT)
Vision Transformer מחלק תמונה ל'טלאים' (patches) ומתייחס אליהם כמו למילים במשפט, ומזין אותם דרך שכבות self-attention. ההרחבה המולטימודאלית מוסיפה זרם שני עבור מודאליות נוספת — לרוב טקסט — ומאפשרת לשני הזרמים להתייחס זה לזה באמצעות cross-attention. כשם ש-BERT לומד יחסים בין מילים, כך Multimodal ViT לומד יחסים בין טלאים חזותיים לטוקנים לשוניים, כך שהמודל יכול לענות על שאלות לגבי תמונה, לאחזר את הכתובית המתאימה, או למקד ביטוי לאזור ספציפי בתמונה.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
מקורות
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/he/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- Vision Transformer מכוונן עדיןלמידה עמוקה↔ compare
- סיווג תמונהלמידה עמוקה↔ compare
- סיווג מבוסס BERT רב-מודאלילמידה עמוקה↔ compare
- טרנספורמר ראייהלמידה עמוקה↔ compare