Reformer: The Efficient Transformer for Long Sequences
Το Reformer είναι μια αποδοτική παραλλαγή της αρχιτεκτονικής Transformer που εισήχθη από τους Kitaev, Kaiser και Levskaya στο ICLR 2020. Αντιμετωπίζει το απαγορευτικό κόστος μνήμης και υπολογιστικό κόστος O(L²) της τυπικής αυτο-προσοχής για μεγάλες ακολουθίες. Οι βασικές καινοτομίες είναι η προσοχή με κατακερματισμό ευαίσθητο στην τοποθεσία (locality-sensitive hashing - LSH) attention, η οποία προσεγγίζει την πλήρη προσοχή σε χρόνο O(L log L), και τα αντιστρέψιμα εναπομείναντα επίπεδα (reversible residual layers) που μειώνουν δραματικά τη μνήμη ενεργοποίησης κατά την εκπαίδευση.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
Πηγές
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/el/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- ΕνημερωτήςΒαθιά Μάθηση↔ compare
- PyraformerΒαθιά Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →