iTransformer: Инвертированный Трансформер для Многомерного Прогнозирования Временных Рядов

iTransformer — это архитектура глубокого обучения для многомерного прогнозирования временных рядов, представленная Лю и др. на конференции ICLR 2024. Ее определяющая идея заключается в инвертировании традиционной стратегии токенизации Трансформера: вместо того чтобы рассматривать каждый временной шаг как токен, iTransformer рассматривает каждую переменную (сенсорный канал или признаковый ряд) как единый токен, чье вложение кодирует полное наблюдаемое окно предыстории. Затем применяется механизм самовнимания между переменными для улавливания межрядовых зависимостей, в то время как сверточная сеть внутри каждого токена изучает временные закономерности.