بنى الشبكات العصبية
تحدد بنى الشبكات العصبية كيفية اتصال الخلايا العصبية الاصطناعية في طبقات، مما يحدد عائلة الدوال التي يمكن للشبكة تمثيلها.
Definition
بنية الشبكة العصبية هي ترتيب الخلايا العصبية الاصطناعية في طبقات متصلة، حيث تحسب كل خلية عصبية دالة غير خطية لمجموع مرجح لمدخلاتها؛ تحدد البنية سعة الشبكة والتحيزات الاستقرائية التي تجلبها لمشكلة التعلم.
Scope
يغطي هذا الموضوع اللبنات الأساسية وهياكل الشبكات العصبية: الخلية العصبية الاصطناعية ذات المدخلات الموزونة والتنشيط غير الخطي، والطبقات الأمامية المتصلة بالكامل والشبكة العصبية متعددة الطبقات (multilayer perceptron)، ودوال التنشيط مثل الدالة السينية (sigmoid) والوحدات الخطية المصححة (rectified linear units)، وكيف يشكل العمق والعرض والاتصال ما يمكن للشبكة تعلمه. يقدم خاصية التقريب الشامل ودور اختيار البنية.
Core questions
- كيف تحسب الخلية العصبية الاصطناعية مخرجاتها؟
- ما الذي يمكن لشبكة متعددة الطبقات تمثيله ولا تستطيع طبقة واحدة تمثيله؟
- كيف تؤثر دوال التنشيط على التعلم؟
- كيف يوازن العمق والعرض بين السعة وقابلية التدريب؟
Key theories
- التقريب الشامل
- يمكن لشبكة أمامية (feedforward network) ذات طبقة خفية واحدة واسعة بما فيه الكفاية أن تقرب أي دالة مستمرة على نطاق محدود، مما يؤسس للشبكات العصبية كمقربات دالة مرنة.
- دوال التنشيط واللاخطية
- التنشيطات غير الخطية هي ما يمنح الشبكات متعددة الطبقات قوتها؛ وتحديداً الوحدات الخطية المصححة (rectified linear units) تسهل تدفق التدرج (gradient flow) وأصبحت الخيار الافتراضي للشبكات العميقة.
- العمق كتركيب
- تؤدي إضافة الطبقات إلى تركيب التحويلات بحيث تبني الشبكة ميزات مجردة بشكل متزايد، وغالبًا ما تمثل دوال معقدة بكفاءة أكبر من طبقة واحدة واسعة.
Clinical relevance
يعد اختيار البنية الطريقة الرئيسية لبناء المعرفة المسبقة حول مشكلة ما في نموذج التعلم العميق، بدءًا من الشبكات المتصلة بالكامل للبيانات العامة وصولاً إلى الهياكل المتخصصة للصور والتسلسلات؛ ويوضح فهم الخلية العصبية الاصطناعية وخاصية التقريب الشامل كلاً من قوة الشبكات العصبية وحدودها.
History
تعود الخلية العصبية الاصطناعية إلى عمل مكالوك وبيتس (McCulloch and Pitts) وإلى شبكة الإدراك الحسي (perceptron) لروزنبلات (Rosenblatt). أدت انتقادات مينسكي وبابرت (Minsky and Papert) للشبكات أحادية الطبقة إلى تباطؤ المجال حتى أحيت الشبكات متعددة الطبقات والانتشار العكسي (backpropagation) هذا المجال، وجلب عصر التعلم العميق بنى تتكون من عشرات أو مئات الطبقات المبنية من الوحدات الخطية المصححة (rectified-linear units) ومكونات أخرى.
Key figures
- Frank Rosenblatt
- Geoffrey Hinton
- Yann LeCun
Related topics
Seminal works
- goodfellow2016
- bishop2006
- lecun2015
Frequently asked questions
- ما هي دالة التنشيط ولماذا هي ضرورية؟
- تطبق دالة التنشيط تحويلاً غير خطي على مجموع المدخلات الموزونة للخلية العصبية. بدونها، فإن تكديس الطبقات سينتج فقط دالة خطية أخرى، لذا فإن اللاخطية هي ما يسمح للشبكات العميقة بتمثيل علاقات معقدة وغير خطية.
- إذا كانت طبقة واحدة واسعة يمكنها تقريب أي دالة، فلماذا نلجأ إلى العمق؟
- تقول نظرية التقريب الشامل إن الشبكة الضحلة يمكنها من حيث المبدأ أن تلائم أي دالة، ولكنها قد تحتاج إلى عدد غير عملي من الخلايا العصبية. غالبًا ما تمثل الشبكات العميقة نفس الدوال بشكل أكثر إحكامًا بكثير وتتعلم ميزات هرمية مفيدة، وهذا هو السبب في تفضيل العمق في الممارسة العملية.