Reformer: Efektywny Transformer dla Długich Sekwencji
Reformer to wydajna wariacja architektury Transformer, wprowadzona przez Kitaeva, Kaisera i Levskayę na konferencji ICLR 2020. Rozwiązuje problem nadmiernych kosztów pamięciowych i obliczeniowych rzędu O(L²) standardowej samo-uwagi (self-attention) dla długich sekwencji. Kluczowe innowacje to uwaga z haszowaniem wrażliwym na lokalizację (LSH attention), która aproksymuje pełną uwagę w czasie O(L log L), oraz odwracalne warstwy rezydualne, które drastycznie redukują zapotrzebowanie na pamięć aktywacji podczas treningu.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/pl/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerUczenie głębokie↔ compare
- PyraformerUczenie głębokie↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →