Reformer (The Efficient Transformer)

Imagine classificar todos os *tokens* em *buckets* com base em sua similaridade antes de calcular a atenção, de modo que cada *token* atenda apenas a um pequeno conjunto de vizinhos provavelmente relevantes, em vez de a todos os outros *tokens*. Isso é a atenção LSH. Combinado com camadas reversíveis – onde as ativações podem ser reconstruídas na passagem de retropropagação em vez de serem armazenadas – o Reformer processa sequências que são ordens de magnitude mais longas do que um Transformer padrão consegue acomodar na memória.