Multimodal Vision Transformer (Multimodal ViT)
एक विजन ट्रांसफार्मर एक छवि को पैच में विभाजित करता है और उन्हें एक वाक्य में शब्दों की तरह मानता है, उन्हें सेल्फ-अटेंशन परतों के माध्यम से फीड करता है। मल्टीमॉडल विस्तार दूसरे तौर-तरीके - सबसे अधिक बार पाठ - के लिए एक दूसरी स्ट्रीम जोड़ता है और दो स्ट्रीम को क्रॉस-अटेंशन के माध्यम से एक-दूसरे पर ध्यान देने देता है। जिस तरह BERT शब्दों के बीच संबंधों को सीखता है, उसी तरह एक मल्टीमॉडल ViT दृश्य पैच और भाषाई टोकन के बीच संबंधों को सीखता है, ताकि मॉडल किसी छवि के बारे में सवालों के जवाब दे सके, मिलान करने वाला कैप्शन प्राप्त कर सके, या किसी विशिष्ट छवि क्षेत्र में वाक्यांश को ग्राउंड कर सके।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
Method map
The neighbourhood of related methods — select a node to explore.
+1 more
स्रोत
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 3). Multimodal Vision Transformer (Multimodal ViT). ScholarGate. https://scholargate.app/hi/deep-learning/multimodal-vision-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-आधारित वर्गीकरणगहन अधिगम↔ compare
- फाइन-ट्यून्ड विजन ट्रांसफार्मरगहन अधिगम↔ compare
- छवि वर्गीकरणगहन अधिगम↔ compare
- मल्टीमॉडल BERT-आधारित वर्गीकरणगहन अधिगम↔ compare
- विजन ट्रांसफार्मरगहन अधिगम↔ compare