iTransformer: Transformer Nghịch đảo cho Dự báo Chuỗi Thời gian Đa biến

iTransformer là một kiến trúc học sâu cho dự báo chuỗi thời gian đa biến được giới thiệu bởi Liu và cộng sự tại ICLR 2024. Ý tưởng cốt lõi của nó là đảo ngược chiến lược token hóa thông thường của Transformer: thay vì coi mỗi bước thời gian là một token, iTransformer coi mỗi biến (kênh cảm biến hoặc chuỗi đặc trưng) là một token duy nhất mà embedding của nó mã hóa toàn bộ cửa sổ quan sát trước đó. Cơ chế tự chú ý (self-attention) sau đó được áp dụng trên các biến để nắm bắt sự phụ thuộc giữa các chuỗi, trong khi mạng truyền thẳng (feed-forward network) bên trong mỗi token học các mẫu hình thời gian.