Moirai: Transformer Ramalan Deret Masa Universal

Moirai ialah model asas untuk ramalan deret masa universal yang diperkenalkan oleh Gerald Woo dan rakan-rakannya di Salesforce Research pada tahun 2024 dan dibentangkan di ICML. Idea terasnya adalah untuk pra-latih satu Transformer besar pada korpus data deret masa yang sangat pelbagai (LOTSA) yang merangkumi banyak domain dan frekuensi, membolehkan ramalan sifar-skop (zero-shot) dan sedikit-skop (few-shot) pada set data yang belum pernah dilihat tanpa latihan semula khusus tugasan. Moirai menggunakan tokenisasi berasaskan tampalan (patch-based), perhatian merentasi semua pembolehubah (any-variate attention), dan kepala output campuran taburan (mixture-of-distributions) untuk mengendalikan frekuensi berubah-ubah, pelbagai pembolehubah, dan ramalan kebarangkalian dalam seni bina bersatu.