Reformer: tõhus Transformer pikkade jada jaoks
Reformer on Transformer-arhitektuuri tõhus variant, mille tutvustasid Kitaev, Kaiser ja Levskaya ICLR 2020. aastal. See lahendab standardse enesetähelepanu prohibitiiivse O(L²) mälumahu ja arvutusmaksumuse pikkade jadade korral. Peamised uuendused on lokatsioonitundlik räsimine (LSH) tähelepanu, mis ligikaudselt hindab täielikku tähelepanu O(L log L) ajaga, ja pöörduvad jäävkihi, mis drastiliselt vähendavad treeningu ajal aktiivsusmälu.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/et/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerSüvaõpe↔ compare
- PyraformerSüvaõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →