Reformer: Az effektív Transformer hosszú szekvenciákhoz
A Reformer a Transformer architektúra egy hatékony változata, amelyet Kitaev, Kaiser és Levskaya mutatott be az ICLR 2020 konferencián. Ez kezeli a standard önfigyelem (self-attention) prohibitív O(L²) memória- és számítási költségét hosszú szekvenciák esetén. A kulcsfontosságú újítások a lokalitásérzékeny hashing (LSH) figyelmi mechanizmus, amely közelítőleg O(L log L) idő alatt számolja a teljes figyelmet, valamint az invertálható reziduális rétegek, amelyek drámaian csökkentik az aktivációs memóriát a képzés során.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
Források
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/hu/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerMélytanulás↔ compare
- PyraformerMélytanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →