Reformer: Efikasan Transformer za duge sekvence
Reformer je efikasna varijanta Transformer arhitekture koju su predstavili Kitaev, Kaiser i Levskaya na ICLR 2020. On rešava problem prevelike memorijske i računarske složenosti standardne samo-pažnje, koja iznosi O(L²), za duge sekvence. Ključne inovacije su pažnja zasnovana na heširanju osetljivom na lokalitet (LSH), koja aproksimira punu pažnju u O(L log L) vremenu, i reverzibilni rezidualni slojevi koji dramatično smanjuju memoriju aktivacija tokom treninga.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/sr/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerDuboko učenje↔ compare
- PyraformerDuboko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →