Reformer: Den effektiva transformatorn för långa sekvenser
Reformer är en effektiv variant av transformatorarkitekturen som introducerades av Kitaev, Kaiser och Levskaya vid ICLR 2020. Den hanterar den prohibitiva minnes- och beräkningskostnaden O(L²) för standard självuppmärksamhet för långa sekvenser. De viktigaste innovationerna är lokalitetssensitiv hashing (LSH) uppmärksamhet, som approximerar full uppmärksamhet på O(L log L) tid, och reversibla residuallager som dramatiskt minskar aktiveringsminnet under träning.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Så citerar du den här sidan
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/sv/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerDjupinlärning↔ compare
- PyraformerDjupinlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →