معالجة اللغات الطبيعية متعددة الوسائط — فهم الرؤية واللغة
تُعد معالجة اللغات الطبيعية متعددة الوسائط (Multimodal NLP) عائلة من خطوط أنابيب معالجة اللغات الطبيعية التي تجمع بين النص ونمط بيانات إضافي واحد أو أكثر — وأكثرها شيوعًا الصور، ولكن أيضًا الصوت والفيديو — لأداء مهام الفهم والتوليد مثل الإجابة المرئية على الأسئلة، وتوليد الشرح للصور، والتعرف على المشاعر متعددة الوسائط. اكتسب هذا المجال شكله الحديث مع نموذج CLIP (Radford et al., 2021) ومنذ ذلك الحين تقدم من خلال معماريات مثل BLIP-2 (Li et al., 2023) التي تربط بين مشفرات صور مجمدة ونماذج لغوية كبيرة.
اقرأ الطريقة كاملة
سجّل الدخول بحساب مجاني لقراءة هذا القسم.
Method map
The neighbourhood of related methods — select a node to explore.
المصادر
- Radford, A., Kim, J.W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of the 38th International Conference on Machine Learning (ICML), 8748–8763. link ↗
- Li, J., Li, D., Savarese, S., & Hoi, S. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. Proceedings of the 40th International Conference on Machine Learning (ICML), 19730–19742. link ↗
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 1). Multimodal Natural Language Processing. ScholarGate. https://scholargate.app/ar/text-mining/multimodal-nlp
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- آلية الانتباهالتعلم العميق↔ compare
- تضمينات BERTتنقيب النصوص↔ compare
- تحليل المشاعرتنقيب النصوص↔ compare
- محوّل الرؤيةالتعلم العميق↔ compare