Pyraformer: пирамидальный трансформатор внимания для долгосрочного прогнозирования временных рядов

Pyraformer — это модель на основе трансформера для долгосрочного прогнозирования временных рядов, представленная Лю и др. на конференции ICLR 2022. Её центральным нововведением является модуль пирамидального внимания (Pyramidal Attention Module, PAM), который организует токены в иерархию с мультиразрешающей структурой, позволяя модели улавливать временные зависимости в нескольких масштабах, сохраняя при этом временную и пространственную сложность на уровне O(L log L) вместо квадратичной стоимости стандартного самовнимания.