Crossformer: Çok Değişkenli Zaman Serisi Tahmini için Boyutlar Arası Bağımlılık Trafosu
Crossformer (Cross-Dimension Dependency Transformer) · Ayrıca şöyle bilinir: Cross-Dimension Dependency Transformer, Crossformer TSF, Çapraz-Boyut Bağımlılık Transformatörü
Crossformer, Yunhao Zhang ve Junchi Yan tarafından ICLR 2023'te tanıtılan, çok değişkenli zaman serisi tahmini için Transformer tabanlı bir mimaridir. Her bir değişkeni bağımsız olarak ele alan önceki Transformer varyantlarının aksine, Crossformer zamansal örüntülerin yanı sıra boyutlar arası bağımlılıkları da açıkça modeller. Bunu, hiyerarşik bir kodlayıcıda düzenlenmiş segment düzeyindeki gömülü temsiller üzerinde uygulanan iki aşamalı bir dikkat tasarımı — zamanlar arası ve boyutlar arası — aracılığıyla başarır ve modelin hem değişken içi dinamikleri hem de değişkenler arası korelasyonları eş zamanlı olarak yakalamasını sağlar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Crossformer, trafik, enerji, hava durumu veya birçok birlikte evrilen kanala sahip finansal veri kümeleri gibi değişkenler arası korelasyonların tahminsel sinyal taşımasının beklendiği çok değişkenli zaman serisi tahmin görevleri için oldukça uygundur. Boyutlar arası bağımlılıkların bilgilendirici olduğunu ve segment düzeyindeki zamansal soyutlamaların uygun olduğunu varsayar. Değişkenler arası yapının zayıf olduğu veya kanal bağımsızlığının daha iyi bir endüktif önyargı olduğu veri kümelerinde daha basit doğrusal temel çizgilerden daha düşük performans gösterebilir. Veri kümesi özelliklerine bağlı olarak PatchTST veya iTransformer tercih edilebilir alternatifler olabilir.
Güçlü yönler & sınırlılıklar
- Birleşik bir Transformer çerçevesi içinde hem zamansal hem de boyutlar arası bağımlılıkları birlikte modeller
- Hiyerarşik segment birleştirme, aşırı dizi uzunluğu olmadan verimli çok ölçekli zamansal temsil sağlar
- Segment düzeyinde gömülü temsil, zaman adımı başına belirteç yaklaşımlarına kıyasla karesel dikkat maliyetini azaltır
- Korelasyonlu çok değişkenli verilerde kanal bağımsız tahmin modellerinin sınırlamasını açıkça ele alır
- Zayıf değişkenler arası korelasyonlara sahip veri kümelerinde, boyutlar arası dikkat sinyal yerine gürültü getirebilir
- Segment uzunluğu, veri kümesi başına ayar gerektiren hassas bir hiperparametredir
- Hiyerarşik birleştirme, tüm zamansal çözünürlüklere uymayabilecek sabit bir kabalaştırma programı sunar
- Hesaplama maliyeti hem değişken sayısı hem de segment sayısı ile ölçeklenir, bu da yüksek boyutlu veri kümeleri için önemli olabilir
SSS
Crossformer, PatchTST'den nasıl farklıdır?
PatchTST, yama tabanlı dikkati her bir değişken için bağımsız olarak uygular (kanal bağımsızlığı), bu da değişkenler arası korelasyonların zayıf olduğu durumlarda güçlü olmasını sağlar. Crossformer, değişkenler arası bağımlılıkları yakalamak için açıkça bir boyutlar arası dikkat aşaması ekler, bu da onu korelasyonlu çok değişkenli veri kümelerinde daha açıklayıcı hale getirir ancak aynı zamanda sahte değişkenler arası örüntülere aşırı uyum sağlama olasılığını artırır.
Segment uzunluğu hiperparametresinin rolü nedir?
Segment uzunluğu L_seg, iki aşamalı dikkate beslenen zamansal belirteçlerin granülerliğini kontrol eder. Daha kısa segmentler daha ince taneli zamansal örüntüleri yakalar ancak dizi uzunluğunu ve hesaplama maliyetini artırırken, daha uzun segmentler daha düşük maliyetle daha kaba özetler sağlar. Veri kümesi başına ayarlanmalı ve kodlayıcı katmanları boyunca hiyerarşik birleştirme programıyla etkileşime girer.
Crossformer her zaman doğrusal tahmin temel çizgilerinden daha mı iyidir?
Şart değil. Birkaç çalışma, değişkenler arası bağımlılıkların zayıf olduğu veya tahmin görevinin büyük ölçüde eğilim odaklı olduğu durumlarda DLinear gibi basit doğrusal modellerin standart karşılaştırmalarda karmaşık Transformer tabanlı modellerle eşleşebileceğini veya onları aşabileceğini göstermiştir. Crossformer'ın avantajı, gerçek ve tahminsel boyutlar arası yapıya sahip veri kümelerinde daha belirgindir.
Kaynaklar
- Zhang, Y., & Yan, J. (2023). Crossformer: Transformer utilizing cross-dimension dependency for multivariate time series forecasting. ICLR. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Crossformer (Cross-Dimension Dependency Transformer). ScholarGate. https://scholargate.app/tr/deep-learning/crossformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BilgilendiriciDerin öğrenme↔ karşılaştır