Reformer: De Efficiënte Transformer voor Lange Sequenties

De Reformer is een efficiënte variant van de Transformer-architectuur, geïntroduceerd door Kitaev, Kaiser en Levskaya op ICLR 2020. Het pakt de prohibitieve geheugen- en rekenkosten van O(L²) van standaard self-attention voor lange sequenties aan. De belangrijkste innovaties zijn locality-sensitive hashing (LSH) attention, die full attention benadert in O(L log L) tijd, en reversibele residuele lagen die de activeringsgeheugen tijdens training drastisch verminderen.