Reformer: Den effektive transformeren for lange sekvenser

Reformer er en effektiv variant av Transformer-arkitekturen introdusert av Kitaev, Kaiser og Levskaya på ICLR 2020. Den adresserer den prohibitive minne- og beregningskostnaden på O(L²) for standard selv-oppmerksomhet for lange sekvenser. Nøkkelinnovasjonene er lokalitetsfølsom hashing (LSH) oppmerksomhet, som approksimerer full oppmerksomhet i O(L log L) tid, og reversible residuallag som dramatisk reduserer aktiveringsminnet under trening.