المُصلِح (Reformer): المُحوِّل الفعّال للتسلسلات الطويلة
المُصلِح (Reformer) هو نسخة فعّالة من بنية المُحوِّل (Transformer) التي قدمها كيتاييف وقيصر وليفسكايا في مؤتمر ICLR 2020. تعالج هذه البنية التكلفة الذاكرية والحسابية الباهظة ذات التعقيد O(L²) للانتباه الذاتي القياسي للتسلسلات الطويلة. الابتكارات الرئيسية هي الانتباه القائم على التجزئة الحساسة للموقع (locality-sensitive hashing - LSH)، والتي تقرب الانتباه الكامل بتعقيد زمني O(L log L)، وطبقات الانحدار العكسية (reversible residual layers) التي تقلل بشكل كبير من ذاكرة التنشيط أثناء التدريب.
اقرأ الطريقة كاملة
سجّل الدخول بحساب مجاني لقراءة هذا القسم.
Method map
The neighbourhood of related methods — select a node to explore.
المصادر
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/ar/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- المُخبِر (Informer)التعلم العميق↔ compare
- Pyraformer: مُحَوِّل الانتباه الهرمي للتنبؤ بالسلاسل الزمنية طويلة المدىالتعلم العميق↔ compare