Moirai: Transformer dự báo chuỗi thời gian phổ quát

Moirai là một mô hình nền tảng cho dự báo chuỗi thời gian phổ quát được giới thiệu bởi Gerald Woo và các đồng nghiệp tại Salesforce Research vào năm 2024 và trình bày tại ICML. Ý tưởng cốt lõi là tiền huấn luyện một mô hình Transformer lớn duy nhất trên một tập dữ liệu chuỗi thời gian (LOTSA) cực kỳ đa dạng, trải rộng trên nhiều lĩnh vực và tần suất, cho phép dự báo zero-shot và few-shot trên các tập dữ liệu chưa từng thấy mà không cần huấn luyện lại theo tác vụ cụ thể. Moirai sử dụng kỹ thuật mã hóa theo từng mảng (patch-based tokenization), cơ chế chú ý đa biến (any-variate attention), và một đầu ra hỗn hợp phân phối (mixture-of-distributions output head) để xử lý các tần suất khác nhau, đa biến, và dự báo xác suất trong một kiến trúc thống nhất.