Reformer: Transformer yang Efisien untuk Jujukan Panjang
Reformer ialah varian seni bina Transformer yang efisien yang diperkenalkan oleh Kitaev, Kaiser, dan Levskaya di ICLR 2020. Ia menangani masalah kos memori dan pengiraan O(L²) yang terlalu tinggi bagi perhatian kendiri piawai untuk jujukan panjang. Inovasi utamanya ialah perhatian pencincangan sensitif lokasi (LSH), yang menghampiri perhatian penuh dalam masa O(L log L), dan lapisan baki boleh balik yang mengurangkan memori pengaktifan secara mendadak semasa latihan.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
Sumber
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Cara memetik halaman ini
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/ms/deep-learning/reformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- InformerPembelajaran Mendalam↔ compare
- Pyraformer: Transformer Perhatian Piramid untuk Peramalan Deret Masa Jarak JauhPembelajaran Mendalam↔ compare
Dirujuk oleh
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →