הרפורמר: הטרנספורמר היעיל לרצפים ארוכים
הרפורמר (Reformer) הוא וריאנט יעיל של ארכיטקטורת הטרנספורמר שהוצג על ידי Kitaev, Kaiser, ו-Levskaya ב-ICLR 2020. הוא מתמודד עם עלות הזיכרון והחישוב המעכבת, שהיא ריבועית ביחס לאורך הרצף (O(L²)), של מנגנון הקשב העצמי הסטנדרטי עבור רצפים ארוכים. החידושים המרכזיים הם קשב מבוסס גיבוב רגיש-לוקליות (locality-sensitive hashing - LSH), המקרב את הקשב המלא בזמן של O(L log L), ושכבות שיוריות הפיכות (reversible residual layers) המפחיתות באופן דרמטי את זיכרון ההפעלה במהלך האימון.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/he/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- מְיַדֵּעַלמידה עמוקה↔ compare
- Pyraformer: טרנספורמר קשב פירמידלי לחיזוי סדרות עתיות ארוכות טווחלמידה עמוקה↔ compare