FEDformer: Frekans Geliştirilmiş Ayrıştırılmış Transformer
FEDformer (Frequency Enhanced Decomposed Transformer) · Ayrıca şöyle bilinir: Frequency Enhanced Decomposed Transformer, FED-Transformer, Frequency Domain Transformer, Frekans Tabanlı Ayrıştırılmış Dönüştürücü
FEDformer, Zhou ve ark. tarafından ICML 2022'de tanıtılan, uzun vadeli çok değişkenli zaman serisi öngörüsü için Transformer tabanlı bir mimaridir. Temel yeniliği, mevsimsel-eğilim ayrıştırmasını frekans alanı dikkat mekanizmasıyla birleştirmesidir: zaman alanındaki tam belirteçten belirtece dikkat hesaplamak yerine, FEDformer Fourier veya dalgacık dönüşümleri aracılığıyla sorguları, anahtarları ve değerleri frekans alanına yansıtır ve rastgele seçilmiş bir frekans bileşenleri alt kümesi üzerinde çalışır, bu da küresel zamansal yapıyı korurken doğrusal karmaşıklık elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
FEDformer, uzun ufuklu çok değişkenli zaman serisi öngörüsü görevleri için uygundur — tipik olarak yüzlerce ila binlerce adım ötesini tahmin eder — burada veri belirgin periyodik veya mevsimsel desenler sergiler (örn. enerji tüketimi, hava durumu, trafik, finans). Frekans düzeyinde durağanlığı varsayar ve baskın spektral bileşenler tahmin edici bilgi taşıdığında en çok fayda sağlar. Çok kısa ufuklar için, daha basit doğrusal taban çizgileri yeterli olabilir. Tamamen periyodik olmayan veya oldukça düzensiz seriler için, frekans alanı varsayımları geçerli olmayabilir, bu da Temporal Fusion Transformer veya N-BEATS gibi modelleri daha iyi alternatifler haline getirir.
Güçlü yönler & sınırlılıklar
- Seyrek frekans örneklemesi yoluyla doğrusal O(L) zaman ve bellek karmaşıklığı, uzun bağlam öngörüsünü etkinleştirir
- Açık mevsimsel-eğilim ayrıştırması, yorumlanabilir model bileşenleri sağlar ve genelleştirmeyi iyileştirir
- Frekans alanı işlemleri, yerel zaman alanı dikkat mekanizmasının genellikle kaçırdığı küresel periyodik yapıları yakalar
- Farklı sinyal özellikleri için esneklik sunan hem Fourier hem de dalgacık varyantlarını destekler
- Rastgele frekans modu seçimi stokastiklik getirir; farklı rastgele tohumlar biraz farklı sonuçlar verebilir
- Model mimarisi, uygulama ek yükünü artıran birden fazla ayrıştırma bloğu ve özel dikkat katmanıyla nispeten karmaşıktır
- Seriyi baskın olan küçük bir frekans bileşeni kümesinin domine ettiği varsayılır; bu varsayım, durağan olmayan veya kaotik sinyaller için geçerli değildir
- Sonraki çalışmalar (örn. PatchTST, DLinear), çok daha basit mimarilerin standart kıyaslamalarda rekabetçi olabileceğini göstermiştir, bu da FEDformer'ın mimari karmaşıklığını sorgulamaktadır
SSS
FEDformer, Autoformer'dan nasıl farklıdır?
Her iki model de mevsimsel-eğilim ayrıştırması kullanır ve doğrusal karmaşıklık elde eder, ancak Autoformer, hesaplama kısayolu olarak FFT kullanarak zaman alanında öz-ilişkiyi hesaplar. FEDformer, dikkat mekanizmasını açıkça frekans alanına taşır ve seyrek bir frekans modu alt kümesi üzerinde öğrenir, bu da frekans alanı işlemesini bir hesaplama hilesi yerine birinci sınıf bir mimari seçim haline getirir.
Neden en iyi K modları yerine rastgele frekans modu seçimi kullanılır?
Yazarlar, rastgele frekans bileşenlerini örneklemenin örtük düzenlileştirme görevi gördüğünü ve genelleştirmeyi iyileştirdiğini bulmuşlardır. En yüksek genlikli modları deterministik olarak seçmek, eğitim verilerindeki baskın periyodik desenlere aşırı uyum sağlayabilirken, rastgele seçim modelin tam spektral dağılım boyunca daha sağlam temsiller öğrenmesini zorlar.
FEDformer, tek değişkenli öngörüyü işleyebilir mi, yoksa yalnızca çok değişkenli veriler için mi tasarlanmıştır?
FEDformer, hem tek değişkenli hem de çok değişkenli ayarları işleyebilir. Tek değişkenli modda, her kanal aynı mimari tarafından bağımsız olarak işlenir. Çok değişkenli modda, kodlayıcı ve kod çözücü tüm kanalları ortaklaşa işler, bu da modelin paylaşılan frekans alanı temsilleri ve çapraz dikkat mekanizması aracılığıyla değişkenler arası korelasyonları yakalamasına olanak tanır.
Kaynaklar
- Zhou, T., Ma, Z., Wen, Q., Wang, X., Sun, L., & Jin, R. (2022). FEDformer: Frequency enhanced decomposed transformer for long-term series forecasting. ICML. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). FEDformer (Frequency Enhanced Decomposed Transformer). ScholarGate. https://scholargate.app/tr/deep-learning/fedformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Autoformer: Uzun Süreli Zaman Serisi Tahmini için Ayrıştırma Transformer'ıDerin öğrenme↔ karşılaştır
- FiLM: Frekans İyileştirilmiş Legendre Hafıza ModeliDerin öğrenme↔ karşılaştır
- BilgilendiriciDerin öğrenme↔ karşılaştır