Reformer: Tehokas Transformer pitkille sekvensseille

Reformer on Kitaevin, Kaiserin ja Levskayan ICLR 2020 -konferenssissa esittelemä Transformer-arkkitehtuurin tehokas variantti. Se ratkaisee standardin itsehuomion O(L²)-muisti- ja laskentakustannusten ongelman pitkillä sekvensseillä. Keskeisiä innovaatioita ovat paikallisuusherkkä hajautus (LSH) -huomio, joka approksimoi täyttä huomiota O(L log L) -ajassa, ja käänteiset residuaalikerrokset, jotka vähentävät merkittävästi aktivaatiomuistin tarvetta koulutuksen aikana.