Reformer: The Efficient Transformer for Long Sequences
Reformer معماری ترنسفورمر کارآمدی است که توسط Kitaev، Kaiser و Levskaya در ICLR 2020 معرفی شد و برای دنبالههای طولانی بهینهسازی شده است. این معماری به هزینه حافظه و محاسباتی O(L²) توجه خودکار استاندارد برای دنبالههای طولانی میپردازد. نوآوریهای کلیدی آن عبارتند از: توجه مبتنی بر هشینگ حساس به مکان (LSH) که توجه کامل را با هزینه O(L log L) تقریب میزند، و لایههای بازگشتی معکوس که حافظه فعالسازی را در طول آموزش به شدت کاهش میدهند.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
منابع
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/fa/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Informerیادگیری عمیق↔ compare
- پایرافرمر: ترنسفورمر توجه هرمی برای پیشبینی سریهای زمانی دوربردیادگیری عمیق↔ compare
ارجاعشده در
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →