Reformer: El Transformer eficient per a seqüències llargues
El Reformer és una variant eficient de l'arquitectura Transformer introduïda per Kitaev, Kaiser i Levskaya a ICLR 2020. Aborda el cost prohibitiv de memòria i computacional O(L²) de l'auto-atenció estàndard per a seqüències llargues. Les innovacions clau són l'atenció per hashing sensible a la localitat (LSH), que aproxima l'atenció completa en temps O(L log L), i les capes residuals reversibles que redueixen dràsticament la memòria d'activació durant l'entrenament.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/ca/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerAprenentatge profund↔ compare
- PyraformerAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →