Реформатор: Эффективный Трансформер для Длинных Последовательностей

Reformer — это эффективный вариант архитектуры Transformer, представленный Kitaev, Kaiser и Levskaya на ICLR 2020. Он решает проблему непомерных затрат памяти и вычислительных ресурсов O(L²), связанных со стандартным механизмом самовнимания для длинных последовательностей. Ключевыми инновациями являются механизм внимания на основе локально-чувствительного хеширования (LSH), который аппроксимирует полное внимание за время O(L log L), и обратимые остаточные слои, которые значительно снижают потребление памяти активациями во время обучения.