Reformer: Ефективният Transformer за дълги последователности

Reformer е ефективен вариант на архитектурата Transformer, представен от Kitaev, Kaiser и Levskaya на ICLR 2020. Той адресира непосилната памет и изчислителни разходи от порядъка на O(L²) на стандартното самовнимание (self-attention) за дълги последователности. Ключовите иновации са внимание, базирано на локално-чувствително хеширане (locality-sensitive hashing – LSH), което апроксимира пълното внимание за време O(L log L), и обратими остатъчни слоеве (reversible residual layers), които драстично намаляват паметта за активации по време на обучение.