Reformer: Transformer Eficient pentru Secvențe Lungi
Reformer este o variantă eficientă a arhitecturii Transformer, introdusă de Kitaev, Kaiser și Levskaya la ICLR 2020. Aceasta abordează costul prohibitiv de memorie și computațional O(L²) al auto-atenției standard pentru secvențe lungi. Inovațiile cheie sunt atenția bazată pe hashing sensibil la localitate (LSH), care aproximează atenția completă în timp O(L log L), și straturile reziduale reversibile care reduc dramatic memoria de activare în timpul antrenamentului.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
Surse
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Cum se citează această pagină
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/ro/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerÎnvățare profundă↔ compare
- PyraformerÎnvățare profundă↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →