Reformer
The Reformer is an efficient variant of the Transformer architecture introduced by Kitaev, Kaiser, and Levskaya at ICLR 2020. It addresses the prohibitive O(L²) memory and computational cost of standard self-attention for long sequences. The key innovations are locality-sensitive hashing (LSH) attention, which approximates full attention in O(L log L) time, and reversible residual layers that dramatically reduce activation memory during training.
Rekod sumber
Petikan disalin secara verbatim daripada rekod sumber kaedah. Tiada pengesahan peringkat tuntutan disimpulkan daripadanya.
Tuntutan yang dikurasi
Tuntutan disimpan dalam lejar bukti, setiap satu dengan penilaiannya sendiri.
Pandangan ini tidak mencipta penilaian tuntutan apabila lejar tiada.
Kaedah berkaitan
Dijana daripada graf kaedah dan ditunjukkan sebagai perhubungan yang dicadangkan mesin — tiada tuntutan bukti disimpulkan.