Reformer: Transformer efikas për sekuenca të gjata
Reformer është një variant efikas i arkitekturës Transformer, prezantuar nga Kitaev, Kaiser dhe Levskaya në ICLR 2020. Ai trajton koston e papërballueshme të kujtesës dhe llogaritëse O(L²) të vëmendjes vetjake standarde për sekuenca të gjata. Inovacionet kryesore janë vëmendja me hashim të ndjeshëm ndaj lokalitetit (LSH), e cila përafërsisht vëmendjen e plotë në kohën O(L log L), dhe shtresat e mbetura të kthyeshme që zvogëlojnë në mënyrë dramatike kujtesën e aktivizimit gjatë trajnimit.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Method map
The neighbourhood of related methods — select a node to explore.
Burimet
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Si ta citoni këtë faqe
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/sq/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerMësimi i thellë↔ compare
- PyraformerMësimi i thellë↔ compare
Cituar nga
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →