Crossformer: ترنسفورمر وابستگی متقابل ابعادی برای پیش‌بینی سری‌های زمانی چندمتغیره

Crossformer معماری مبتنی بر ترنسفورمر برای پیش‌بینی سری‌های زمانی چندمتغیره است که توسط Yunhao Zhang و Junchi Yan در ICLR 2023 معرفی شد. برخلاف انواع ترنسفورمرهای پیشین که هر متغیر را به طور مستقل در نظر می‌گیرند، Crossformer وابستگی‌های متقابل ابعادی را در کنار الگوهای زمانی به صراحت مدل‌سازی می‌کند. این امر از طریق طراحی توجه دو مرحله‌ای — توجه متقابل زمانی و متقابل ابعادی — که بر روی جاسازی‌های سطح قطعه (segment-level embeddings) سازمان‌دهی شده در یک رمزگذار سلسله مراتبی اعمال می‌شود، حاصل می‌گردد و به مدل امکان می‌دهد تا پویایی‌های درون‌متغیری (intra-variate) و همبستگی‌های بین‌متغیری (inter-variate) را به طور همزمان ثبت کند.