تحسين الانحدار التدريجي العشوائي (SGD) مع الزخم ومشتقّه التكيفي آدم
يُعد تحسين الانحدار التدريجي العشوائي (SGD) مع الزخم ونسخته التكيفية آدم خوارزميات التحديث الأساسية للمعاملات المستخدمة لتدريب كل نماذج التعلم العميق الحديثة تقريبًا. تم إضفاء الطابع الرسمي على تحسين الانحدار التدريجي العشوائي مع الزخم بواسطة بولياك (1964) وتم إدخاله في تدريب الشبكات العصبية بواسطة روميلهارت وهينتون وويليامز (1986). أما آدم، الذي قدمه كينغما وبا في مؤتمر ICLR 2015، فقد وسع فكرة الزخم من خلال الاحتفاظ بمتوسط متحرك للانحدارات المربعة، مما ينتج عنه معدلات تعلم تكيفية لكل معامل، مما يجعله المُحسِّن الافتراضي في ممارسات التعلم العميق المعاصرة.
اقرأ الطريقة كاملة
سجّل الدخول بحساب مجاني لقراءة هذا القسم.
خريطة المناهج
محيط المناهج ذات الصلة — اختر عقدةً للاستكشاف.
المصادر
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/ar/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
أيُّ منهج؟
ضع هذا المنهج إلى جانب أقرب نظائره واقرأهما جنباً إلى جنب — المكتبة تضع الكتب على الطاولة، والاختيار لك.
- التطبيع الدفعيالتعلم العميق↔ قارن