النماذج الالتفافية والتسلسلية
تستغل الشبكات الالتفافية البنية المكانية في البيانات الشبكية مثل الصور، بينما تعالج النماذج المتكررة والقائمة على الانتباه التسلسلات مثل النصوص والكلام.
Definition
تطبق النماذج الالتفافية مرشحات متعلمة عبر شبكة بحيث يُعاد استخدام نفس كاشف الميزات في كل موقع، بينما تعالج النماذج التسلسلية المدخلات المرتبة عن طريق الحفاظ على الحالة بمرور الوقت أو عن طريق الانتباه عبر المواقع، حيث تقوم كل بنية بترميز افتراضات مسبقة مناسبة لنوع بياناتها.
Scope
يغطي هذا الموضوع البنى المتخصصة للبيانات المهيكلة: الشبكات العصبية الالتفافية ذات المرشحات المحلية، ومشاركة الأوزان، والتجميع للصور والشبكات الأخرى؛ والشبكات المتكررة ووحدات الذاكرة طويلة المدى للتعامل مع التسلسلات ذات الاعتماديات طويلة المدى؛ وآليات الانتباه التي تصمم العلاقات عبر المواقع. ويتناول التحيزات الاستقرائية التي تجعل هذه البنى فعالة.
Core questions
- كيف تستغل الالتفافية بنية الترجمة في الصور؟
- لماذا تساعد مشاركة الأوزان والتجميع في التعميم والكفاءة؟
- كيف تتعامل الوحدات المتكررة ووحدات الذاكرة طويلة المدى مع التسلسلات الطويلة؟
- ماذا يضيف الانتباه على المعالجة المتكررة البحتة؟
Key theories
- الالتفافية ومشاركة الأوزان
- تطبق الطبقات الالتفافية نفس المرشح الصغير عبر جميع المواقع، مما يقلل بشكل كبير من المعلمات ويبني تباين الترجمة بحيث تنتقل الميزات المتعلمة في موقع واحد إلى كل مكان.
- الذاكرة طويلة المدى
- تحافظ الوحدات المتكررة ذات البوابات مثل الذاكرة طويلة المدى على خلية ذاكرة محمية، مما يسمح للشبكات المتكررة بتعلم الاعتماديات عبر العديد من الخطوات الزمنية التي لا تستطيع التكرارية البسيطة تعلمها.
- الانتباه عبر التسلسلات
- تسمح آليات الانتباه للنموذج بوزن ودمج المعلومات من جميع مواقع التسلسل مباشرة، مما يلتقط العلاقات طويلة المدى ويمكّن معالجة التسلسلات المتوازية للغاية.
Clinical relevance
أحدثت الشبكات الالتفافية ثورة في رؤية الحاسوب والتصوير الطبي، بينما دعمت النماذج التسلسلية التعرف على الكلام والترجمة الآلية، ومن خلال الانتباه، نماذج اللغة الكبيرة التي تقف وراء أنظمة اللغة الطبيعية الحديثة؛ ولا يزال مطابقة البنية لهيكل البيانات مبدأ تصميم مركزيًا في التعلم العميق التطبيقي.
History
نشأت الشبكات الالتفافية من شبكة نيوكوجنيترون (neocognitron) لفوكوشيما وعمل لوكون (LeCun) على التعرف على الأرقام، وقد أدى نجاحها في عام 2012 في تصنيف الصور على نطاق واسع إلى ازدهار التعلم العميق. وقد حلت الذاكرة طويلة المدى (Long short-term memory)، التي قُدمت في عام 1997، مشكلة الاعتمادية طويلة المدى للتسلسلات، وأصبحت آليات الانتباه لاحقًا أساس نماذج المحولات (transformer models).
Key figures
- Yann LeCun
- Sepp Hochreiter
- Juergen Schmidhuber
- Kunihiko Fukushima
Related topics
Seminal works
- hochreiter1997
- lecun2015
- goodfellow2016
Frequently asked questions
- لماذا تعد الشبكات الالتفافية جيدة جدًا في معالجة الصور؟
- تحتوي الصور على بنية محلية وأنماط يمكن أن تظهر في أي مكان. تطبق الالتفافية نفس المرشح عبر الصورة بأكملها، لذلك يتم اكتشاف ميزة مثل الحافة أينما تحدث، باستخدام عدد أقل بكثير من المعلمات مقارنة بالطبقة المتصلة بالكامل وتعميم أفضل.
- ما المشكلة التي تحلها الذاكرة طويلة المدى؟
- تكافح الشبكات المتكررة البسيطة لتعلم الاعتماديات التي تمتد عبر العديد من الخطوات الزمنية لأن التدرجات تتلاشى. تقدم الذاكرة طويلة المدى خلية ذاكرة ذات بوابات تحافظ على المعلومات على فترات طويلة، مما يجعل من الممكن تعلم الأنماط الزمنية طويلة المدى.