Reformer: Ефективний Transformer для довгих послідовностей
Reformer — це ефективний варіант архітектури Transformer, представлений Кітаєвим, Кайзером та Левською на ICLR 2020. Він вирішує проблему надмірних витрат пам'яті та обчислень O(L²), пов'язаних зі стандартною механізмом самостійної уваги для довгих послідовностей. Ключовими інноваціями є увага на основі хешування з локальною чутливістю (LSH attention), яка апроксимує повну увагу за час O(L log L), та реверсивні залишкові шари, що значно зменшують пам'ять активацій під час навчання.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/uk/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerГлибоке навчання↔ compare
- PyraformerГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →