Reformer: Efektivní Transformer pro dlouhé sekvence
Reformer je efektivní varianta architektury Transformer, kterou představili Kitaev, Kaiser a Levskaya na ICLR 2020. Řeší neúnosnou paměťovou a výpočetní náročnost standardní self-attention (O(L²)) pro dlouhé sekvence. Klíčovými inovacemi jsou pozornost založená na lokalitně senzitivním hašování (LSH attention), která aproximuje plnou pozornost v čase O(L log L), a reverzibilní reziduální vrstvy, které dramaticky snižují paměťovou náročnost aktivací během tréninku.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Jak citovat tuto stránku
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/cs/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerHluboké učení↔ compare
- Pyraformer: Pyramidal Attention Transformer pro dlouhodobé časové řadyHluboké učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →