Reformer : le transformeur efficace pour les longues séquences

Le Reformer est une variante efficace de l'architecture Transformer introduite par Kitaev, Kaiser et Levskaya à l'ICLR 2020. Il s'attaque au coût prohibitif en mémoire et en calcul de O(L²) de l'auto-attention standard pour les longues séquences. Les innovations clés sont l'attention par hachage sensible à la localité (LSH), qui approxime l'attention complète en temps O(L log L), et les couches résiduelles réversibles qui réduisent considérablement la mémoire d'activation pendant l'entraînement.