Reformer: Učinkoviti Transformer za duge sekvence
Reformer je učinkovita varijanta arhitekture Transformer koju su predstavili Kitaev, Kaiser i Levskaya na ICLR-u 2020. Rješava problem prohibitivnih memorijskih i računalnih troškova O(L²) standardne samo-pažnje za duge sekvence. Ključne inovacije su pažnja s lokalno osjetljivim heširanjem (LSH), koja aproksimira potpunu pažnju u O(L log L) vremenu, i reverzibilni rezidualni slojevi koji dramatično smanjuju memoriju aktivacija tijekom treniranja.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/hr/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerDuboko učenje↔ compare
- Pyraformer: Piramidalni Transformer za dugoročno prognoziranje vremenskih nizovaDuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →