मल्टीमॉडल ट्रांसफार्मर
एक मल्टीमॉडल ट्रांसफार्मर मानक ट्रांसफार्मर वास्तुकला का विस्तार करता है ताकि दो या अधिक इनपुट मोडैलिटीज़ – आमतौर पर टेक्स्ट और इमेज, लेकिन ऑडियो, वीडियो या संरचित डेटा भी – को संसाधित और संयुक्त रूप से तर्कसंगत बनाया जा सके। क्रॉस-मॉडल अटेंशन लेयर्स एक मोडैलिटी से जानकारी को दूसरी में प्रतिनिधित्व को सूचित करने की अनुमति देती हैं, जिससे विज़ुअल प्रश्न उत्तर, इमेज कैप्शनिंग और मल्टीमॉडल भावना विश्लेषण जैसे कार्य सक्षम होते हैं।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
पद्धति मानचित्र
सम्बन्धित पद्धतियों का परिवेश — अन्वेषण हेतु किसी नोड का चयन करें।
+15 और
स्रोत
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/hi/deep-learning/multimodal-transformer
कौन-सी पद्धति?
इस पद्धति को उसकी निकटतम सजातीय पद्धतियों के साथ रखकर उन्हें साथ-साथ पढ़ें — पुस्तकालय पुस्तकें मेज़ पर रख देता है; चुनाव आपका है।
- BERT-आधारित वर्गीकरणगहन अधिगम↔ तुलना करें
- छवि वर्गीकरणगहन अधिगम↔ तुलना करें
- मल्टीमॉडल BERT-आधारित वर्गीकरणगहन अधिगम↔ तुलना करें
- वाक्य एम्बेडिंगगहन अधिगम↔ तुलना करें
- विजन ट्रांसफार्मरगहन अधिगम↔ तुलना करें