Reformer: The Efficient Transformer for Long Sequences

Reformer adalah varian efisien dari arsitektur Transformer yang diperkenalkan oleh Kitaev, Kaiser, dan Levskaya pada ICLR 2020. Reformer mengatasi biaya memori dan komputasi O(L²) yang memberatkan dari mekanisme perhatian diri (self-attention) standar untuk sekuens panjang. Inovasi utamanya adalah perhatian berbasis locality-sensitive hashing (LSH), yang mengaproksimasi perhatian penuh dalam waktu O(L log L), dan lapisan residual reversibel yang secara dramatis mengurangi memori aktivasi selama pelatihan.