Reformer: The Efficient Transformer for Long Sequences
Il Reformer è una variante efficiente dell'architettura Transformer introdotta da Kitaev, Kaiser e Levskaya all'ICLR 2020. Affronta il proibitivo costo di memoria e computazionale O(L²) dell'auto-attenzione standard per sequenze lunghe. Le innovazioni chiave sono l'attenzione basata su locality-sensitive hashing (LSH), che approssima l'attenzione completa in tempo O(L log L), e gli strati residui reversibili che riducono drasticamente la memoria delle attivazioni durante l'addestramento.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Method map
The neighbourhood of related methods — select a node to explore.
Fonti
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Come citare questa pagina
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/it/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerApprendimento profondo↔ compare
- PyraformerApprendimento profondo↔ compare
Citato da
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →