Reformer: efektīvais Transformer garām sekvencēm

Reformer ir efektīva Transformer arhitektūras varianta versija, ko 2020. gadā ICLR konferencē ieviesa Kitaev, Kaiser un Levskaya. Tā risina standarta pašuzmanības (self-attention) prohibitīvās O(L²) atmiņas un aprēķinu izmaksas, kas rodas, apstrādājot garas sekvences. Galvenie jauninājumi ir uz lokāciju jutīgās jashing (locality-sensitive hashing – LSH) uzmanība, kas pilnas uzmanības aprēķinus tuvo O(L log L) laikā, un reversīvie atlikušie slāņi (reversible residual layers), kas apmācības laikā dramatiski samazina aktivācijas atmiņas patēriņu.