مویرای: ترانسفورمر جهانی پیش‌بینی سری‌های زمانی

مویرای (Moirai) یک مدل بنیادی برای پیش‌بینی جهانی سری‌های زمانی است که توسط جرالد وو و همکارانش در Salesforce Research در سال ۲۰۲۴ معرفی و در ICML ارائه شد. ایده اصلی این است که یک ترانسفورمر بزرگ واحد بر روی مجموعه‌ای فوق‌العاده متنوع از داده‌های سری‌های زمانی (LOTSA) که حوزه‌ها و فرکانس‌های زیادی را پوشش می‌دهد، از پیش آموزش داده شود. این امر امکان پیش‌بینی بدون آموزش (zero-shot) و با آموزش کم (few-shot) را بر روی مجموعه‌داده‌های دیده نشده، بدون نیاز به آموزش مجدد مختص وظیفه، فراهم می‌کند. مویرای از توکن‌سازی مبتنی بر پچ، توجه چندمتغیره (any-variate attention)، و یک سر خروجی ترکیبی از توزیع‌ها (mixture-of-distributions output head) برای مدیریت فرکانس‌های متغیر، متغیرهای متعدد، و پیش‌بینی احتمالی در یک معماری یکپارچه استفاده می‌کند.