المحولات متعددة الوسائط (Multimodal Transformers)
يُوسِّع المحول متعدد الوسائط (Multimodal Transformer) بنية المحول القياسية لمعالجة والربط المشترك بين وسيطتين أو أكثر من وسائط الإدخال — وغالبًا ما تكون هذه الوسائط هي النصوص والصور، ولكنها قد تشمل أيضًا الصوت أو الفيديو أو البيانات المنظمة. تسمح طبقات الانتباه عبر الوسائط (Cross-modal attention layers) للمعلومات من وسيطة واحدة بإثراء التمثيلات في وسيطة أخرى، مما يُمكِّن من إنجاز مهام مثل الإجابة المرئية على الأسئلة، وتسمية الصور، وتحليل المشاعر متعدد الوسائط.
اقرأ الطريقة كاملة
سجّل الدخول بحساب مجاني لقراءة هذا القسم.
Method map
The neighbourhood of related methods — select a node to explore.
+15 more
المصادر
- Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks. Advances in Neural Information Processing Systems (NeurIPS), 32. link ↗
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., ... & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), PMLR 139. link ↗
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 3). Multimodal Transformer (Cross-Modal Attention-Based Architecture). ScholarGate. https://scholargate.app/ar/deep-learning/multimodal-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- تصنيف قائم على BERTالتعلم العميق↔ compare
- تصنيف الصورالتعلم العميق↔ compare
- التصنيف المعتمد على نموذج BERT متعدد الوسائطالتعلم العميق↔ compare
- تضمينات الجملالتعلم العميق↔ compare
- محوّل الرؤيةالتعلم العميق↔ compare