Reformer: Der effiziente Transformer für lange Sequenzen

Der Reformer ist eine effiziente Variante der Transformer-Architektur, die von Kitaev, Kaiser und Levskaya auf der ICLR 2020 vorgestellt wurde. Er adressiert die prohibitiven Speicher- und Rechenkosten von O(L²) der Standard-Self-Attention für lange Sequenzen. Die wichtigsten Neuerungen sind die auf Lokationssensitivität basierende Hashing-Attention (LSH-Attention), die die vollständige Attention in O(L log L) Zeit approximiert, und rekurrente Schichten, die den Aktivierungsspeicher während des Trainings drastisch reduzieren.