Non-stationary Transformer
Non-stationary Transformers for Forecasting · Ayrıca şöyle bilinir: NS-Transformer, Non-stationary Transformer Network, Stationarization-based Transformer, Durağan-Olmayan Transformer
Non-stationary Transformer, Yong Liu, Haixu Wu, Jianmin Wang ve Mingsheng Long tarafından NeurIPS 2022'de tanıtılan Transformer tabanlı bir zaman serisi tahmin mimarisidir. Gerçek dünya zaman serilerine Transformer uygulama konusundaki temel bir gerilimi ele alır: ön işleme sırasındaki aşırı durağanlaştırma, tahmin bilgisi taşıyan durağan olmayan sinyalleri ortadan kaldırırken, ham durağan olmayan girdiler dikkatin çökmesine neden olur. Model, bunu serilerin durağanlaştırılması ve tahminlerde orijinal zamansal dağılımı geri kazandıran yeni bir durağanlaştırmayan dikkat mekanizması ile çözer.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Açıkça eğilim, seviye kaymaları, değişen varyans gibi belirgin durağanlık göstermeyen çok değişkenli veya tek değişkenli zaman serilerini orta ila uzun ufuklarda tahmin ederken Non-stationary Transformer'ı kullanın. Sabit uzunlukta bir geçmiş penceresi varsayar ve zamansal örüntüleri öğrenmek için yeterli eğitim verisi gerektirir. Çok kısa seriler veya durağanlığın seyrek olduğu durumlar için daha az uygundur. Alternatifler arasında güçlü periyodikliğe sahip daha uzun diziler için Autoformer veya veri hacminin az olduğu durumlarda basit doğrusal modeller bulunur.
Güçlü yönler & sınırlılıklar
- Eğilim veya ölçek bilgisini atmadan durağan olmayan zaman serilerini açıkça ele alır
- Durağanlaştırmayan dikkat hafiftir ve herhangi bir standart Transformer mimarisine entegre edilebilir
- Dizi başına normalleştirme, heterojen büyüklüklere sahip seriler arasında genelleme yapar
- Transformer ailesi taban çizgilerine karşı standart uzun menzilli tahmin kıyaslamalarında rekabetçi performans gösterdiği kanıtlanmıştır
- Karesel dikkat karmaşıklığı, daha fazla yaklaştırma olmadan çok uzun dizilere ölçeklenebilirliği sınırlar
- Bazı tek değişkenli kıyaslamalarda basit doğrusal modeller üzerindeki performans avantajı marjinal olabilir
- Dikkatli hiperparametre ayarı gerektirir (geçmiş uzunluğu, katman sayısı, tau/delta öğrenme oranı)
- Tüm Transformer modelleri gibi, klasik istatistiksel yöntemlere kıyasla önemli miktarda eğitim verisi ve hesaplama gerektirir
SSS
Seri durağanlaştırması, standart z-puanı normalleştirmesinden nasıl farklıdır?
Standart z-puanı normalleştirmesi tipik olarak tüm eğitim kümesi üzerinde hesaplanan küresel istatistikleri kullanır. Non-stationary Transformer'daki seri durağanlaştırması, dizi başına istatistikler kullanır — her bir girdi penceresinden hesaplanan ortalama ve standart sapma. Bu, her örneğin kendi kendine göre normalleştirildiği, pencere içi göreceli örüntüleri korurken yerel seviyeyi ve ölçeği ortadan kaldırdığı ve çıkarılan istatistiklerin daha sonra kurtarma için saklandığı anlamına gelir.
Durağanlaştırmayan dikkatin tau ve delta operatörleri nelerdir?
Tau ve delta, girdinin orijinal durağan olmayan istatistiklerine dayanan öğrenilebilir yeniden ölçeklendirme parametreleridir. Tau, sorguları ölçeklendirir ve delta, ölçeklenmiş nokta çarpım dikkat içindeki anahtarları kaydırır. Dikkat ağırlıklarının, normalleştirmeden sonra kaybolacak tahmin bilgisini geri kazanarak, durağanlaştırılmış olan yerine orijinal zamansal dağılımı yansıtmasına izin verirler.
Non-stationary Transformer tek değişkenli serilere uygulanabilir mi?
Evet. Mimari hem tek değişkenli hem de çok değişkenli tahminleri destekler. Tek değişkenli durumda, tek bir kanal durağanlaştırma-dikkat-kurtarma işlem hattından geçirilir. Ancak, bazı çalışmalar belirli tek değişkenli kıyaslamalarda basit doğrusal taban çizgilerinin rekabetçi kaldığını öne sürmektedir, bu nedenle uygulayıcılar dağıtımdan önce modeli hafif alternatiflere karşı ampirik olarak doğrulamalıdır.
Kaynaklar
- Liu, Y., Wu, H., Wang, J., & Long, M. (2022). Non-stationary transformers: Exploring the stationarity in time series forecasting. NeurIPS. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Non-stationary Transformers for Forecasting. ScholarGate. https://scholargate.app/tr/deep-learning/nonstationary-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Birim Kök Testi Olarak Genişletilmiş Dickey-Fuller (ADF)Ekonometri↔ karşılaştır
- Autoformer: Uzun Süreli Zaman Serisi Tahmini için Ayrıştırma Transformer'ıDerin öğrenme↔ karşılaştır
- BilgilendiriciDerin öğrenme↔ karşılaştır