Moirai: Transformer Prediksi Deret Waktu Universal

Moirai adalah model fondasi untuk prediksi deret waktu universal yang diperkenalkan oleh Gerald Woo dan rekan-rekannya di Salesforce Research pada tahun 2024 dan dipresentasikan di ICML. Ide intinya adalah melatih sebelumnya satu Transformer besar pada korpus data deret waktu yang sangat beragam (LOTSA) yang mencakup banyak domain dan frekuensi, memungkinkan prediksi tanpa contoh (zero-shot) dan dengan sedikit contoh (few-shot) pada kumpulan data yang belum pernah dilihat tanpa pelatihan ulang khusus tugas. Moirai menggunakan tokenisasi berbasis tambalan (patch-based), perhatian lintas-variabel (any-variate attention), dan kepala keluaran campuran-distribusi (mixture-of-distributions) untuk menangani frekuensi variabel, banyak variabel, dan prediksi probabilistik dalam arsitektur terpadu.