FEDformer: आवृत्ति संवर्धित विघटित ट्रांसफार्मर

FEDformer, लंबी अवधि के बहुचरणीय समय-श्रृंखला पूर्वानुमान के लिए एक ट्रांसफार्मर-आधारित वास्तुकला है, जिसे ज़ोउ एट अल. द्वारा ICML 2022 में प्रस्तुत किया गया था। इसका मुख्य नवाचार मौसमी-प्रवृत्ति विघटन (seasonal-trend decomposition) को आवृत्ति-डोमेन ध्यान (frequency-domain attention) के साथ जोड़ना है: समय-डोमेन में पूर्ण टोकन-से-टोकन ध्यान की गणना करने के बजाय, FEDformer प्रश्नों (queries), कुंजियों (keys), और मानों (values) को फूरियर या वेवलेट रूपांतरणों के माध्यम से आवृत्ति-डोमेन में प्रक्षेपित करता है और आवृत्ति घटकों के एक यादृच्छिक रूप से चयनित उपसमुच्चय पर संचालित होता है, जिससे रैखिक जटिलता (linear complexity) प्राप्त होती है और वैश्विक लौकिक संरचना (global temporal structure) बनी रहती है।