النماذج اللغوية العصبية وتضمينات الكلمات
تعلّم تمثيلات متجهة كثيفة للكلمات والسياقات من النصوص الخام — من تضمينات word2vec إلى التمثيلات السياقية مثل BERT — التي تُشفّر المعنى كهندسة.
Definition
تضمين الكلمات هو متجه كثيف ذو قيمة حقيقية يمثل معنى الكلمة، ويتم تعلمه بحيث تنعكس التشابهات التوزيعية في قرب الفضاء المتجه؛ وتمتد التضمينات السياقية هذا لتشمل تمثيلات تعتمد على النص المحيط.
Scope
يغطي هذا الموضوع التمثيلات الموزعة والعصبية للغة: الفرضية التوزيعية، وتضمينات الكلمات الثابتة مثل word2vec و GloVe، والنماذج اللغوية العصبية، والتضمينات السياقية من المحولات المدربة مسبقًا مثل BERT. ويتناول كيفية تدريب التمثيلات وتقييمها ونقلها إلى المهام اللاحقة. تفاصيل بنية المحولات والتوليد مغطاة في موضوع ذي صلة.
Core questions
- ما هي الفرضية التوزيعية وكيف تقوم التضمينات بتفعيلها؟
- كيف يتعلم word2vec متجهات الكلمات من التواجد المشترك؟
- كيف تختلف التضمينات السياقية عن التضمينات الثابتة؟
- لماذا أحدث التدريب المسبق والتعلم بالنقل تحولاً في معالجة اللغة الطبيعية؟
Key concepts
- الفرضية التوزيعية
- تضمين الكلمات
- word2vec
- skip-gram
- تضمين سياقي
- التدريب المسبق والضبط الدقيق
- التعلم بالنقل
- نمذجة اللغة المقنعة
Key theories
- الفرضية التوزيعية
- فكرة أن الكلمات التي تظهر في سياقات متشابهة لها معانٍ متشابهة، وهي الأساس لجميع طرق التضمين من خلال استخلاص المعنى من إحصائيات التواجد المشترك.
- التدريب المسبق السياقي
- التدريب المسبق للنماذج ثنائية الاتجاه العميقة على نصوص كبيرة غير مُصنفة، كما هو الحال في BERT، لإنتاج تمثيلات حساسة للسياق يمكن نقلها إلى العديد من المهام اللاحقة بضبط دقيق قليل.
History
تم تفعيل الفرضية التوزيعية لهاريس أولاً بواسطة نماذج الفضاء المتجه القائمة على العد، ثم بواسطة النموذج اللغوي العصبي لبنجيو (2003) و word2vec الفعال لميكولوف (2013). أدى وصول النماذج السياقية مثل ELMo و BERT في 2018-2019 إلى جعل التدريب المسبق والضبط الدقيق النموذج السائد.
Debates
- ماذا تُشفّر التضمينات بالفعل؟
- ما إذا كانت التمثيلات المتعلمة تلتقط بنية دلالية ونحوية حقيقية أو مجرد انتظام التواجد المشترك والتحيزات الموجودة في بيانات التدريب، وهو سؤال محوري لقابلية التفسير.
Key figures
- Yoshua Bengio
- Tomas Mikolov
- Jacob Devlin
- Zellig Harris
Related topics
Seminal works
- bengio2003
- mikolov2013
- devlin2019
Frequently asked questions
- ما الفرق بين التضمينات الثابتة والسياقية؟
- التضمين الثابت يعطي الكلمة متجهًا واحدًا ثابتًا بغض النظر عن السياق، لذا فإن كلمة 'bank' لها تمثيل واحد. أما التضمين السياقي فينتج متجهًا مختلفًا لكل ظهور، مميزًا بين ضفة النهر (river bank) والبنك المالي (financial bank).