Reformer: Efektívny Transformer pre dlhé sekvencie
Reformer je efektívna varianta architektúry Transformer, ktorú predstavili Kitaev, Kaiser a Levskaya na konferencii ICLR 2020. Rieši prohibitívne pamäťové a výpočtové náklady O(L²) štandardnej self-attention pre dlhé sekvencie. Kľúčové inovácie sú locality-sensitive hashing (LSH) attention, ktorá aproximuje plnú pozornosť v čase O(L log L), a reverzibilné reziduálne vrstvy, ktoré dramaticky znižujú pamäť aktivácií počas tréningu.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Ako citovať túto stránku
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/sk/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerHlboké učenie↔ compare
- Pyraformer: Pyramidal Transformer pre dlhodobé časové predikcieHlboké učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →