Crossformer: Трансформер для моделирования межразмерных зависимостей в многомерном временном ряду

Crossformer — это архитектура на основе Трансформера для прогнозирования многомерных временных рядов, представленная Юньхао Чжаном и Цзюньчи Янем на конференции ICLR в 2023 году. В отличие от предыдущих вариантов Трансформера, которые обрабатывают каждый признак независимо, Crossformer явно моделирует межразмерные зависимости наряду с временными закономерностями. Это достигается за счет двухэтапной конструкции внимания — межвременного и межразмерного — применяемой к сегментным эмбеддингам, организованным в иерархический энкодер, что позволяет модели одновременно улавливать как внутрипризнаковые динамики, так и межпризнаковые корреляции.