Reformer: Den effektive Transformer til lange sekvenser
Reformer er en effektiv variant af Transformer-arkitekturen introduceret af Kitaev, Kaiser og Levskaya ved ICLR 2020. Den adresserer den prohibitive hukommelses- og beregningsomkostning på O(L²) ved standard self-attention for lange sekvenser. De centrale innovationer er locality-sensitive hashing (LSH) attention, som approksimerer fuld attention på O(L log L) tid, og reversible residual layers, der dramatisk reducerer aktiveringshukommelsen under træning.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Sådan citerer du denne side
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/da/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerDyb læring↔ compare
- Pyraformer: Pyramidal Attention Transformer til langtids-tidsserie-prognoserDyb læring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →