iTransformer: Çok Değişkenli Zaman Serisi Tahmini için Tersine Çevrilmiş Transformer
iTransformer (Inverted Transformer for Forecasting) · Ayrıca şöyle bilinir: Inverted Transformer, iTransformer for Time Series, Inverted Attention Transformer, Ters Transformer
iTransformer, Liu ve arkadaşları tarafından ICLR 2024'te tanıtılan çok değişkenli zaman serisi tahmini için bir derin öğrenme mimarisidir. Temel fikri, geleneksel Transformer belirteçleme stratejisini tersine çevirmektir: her zaman adımını bir belirteç olarak ele almak yerine, iTransformer her bir değişkeni (sensör kanalı veya özellik serisi) tam gözlemlenen geçmiş penceresini kodlayan bir gömme (embedding) ile tek bir belirteç olarak ele alır. Değişkenler arasındaki bağımlılıkları yakalamak için değişkenler arasında öz-dikkat (self-attention) uygulanırken, her belirteç içindeki ileri beslemeli ağ (feed-forward network) zamansal örüntüleri öğrenir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Ne zaman kullanılır
iTransformer, değişkenler arası bağımlılıkların bilgilendirici olduğu ve değişken sayısının ufka göre büyük olduğu çok değişkenli tahmin görevleri için uygundur. Geçmiş penceresinin anlamlı değişken başına gömmeler sağlamak için yeterince uzun olduğunu ve seriler arası korelasyonların zaman içinde kararlı olduğunu varsayar. Tek değişkenli tahmin için (tersine çevirme avantaj sağlamaz) veya değişken sayısının çok az olduğu durumlar için daha az uygundur. Alternatifler arasında yama tabanlı zamansal belirteçleme için PatchTST, ince taneli zaman-çapraz-değişken dikkat için Crossformer veya farklı tümevarımsal önyargılar için N-BEATS ve TimesNet bulunur.
Güçlü yönler & sınırlılıklar
- El yapımı kanal karıştırma olmadan dikkat mekanizması aracılığıyla değişkenler arası korelasyonları doğrudan modeller
- Yüksek değişkenli veri kümeleri için hesaplama açısından verimlidir çünkü dikkat dizi uzunluğu T (zaman adımları) değil, N (değişkenler) ile ölçeklenir
- İleri beslemeli ağ, tersine çevrilmiş belirteç yapısına rağmen değişken düzeyindeki zamansal örüntüleri yakalama yeteneğini korur
- Standart Transformer'a basit, temiz mimari modifikasyon olup uygulaması ve tekrarlanması kolaydır
- Tamamen tek değişkenli ayarlarda doğrudan bir avantaj sunmaz, çünkü değişkenler arası dikkat boştur
- Değişken başına belirteç gömmeleri, tüm geçmiş penceresini tek bir vektörde birleştirir, bu da ince taneli zamansal konum bilgisinin kaybolmasına neden olabilir
- Değişkenler arası ilişkiler durağan değilse veya zamanla değişiyorsa performans düşebilir
- Çoğu Transformer tabanlı tahminci gibi, daha basit doğrusal taban çizgilerini güvenilir bir şekilde aşmak için önemli miktarda eğitim verisi ve GPU kaynağı gerektirir
SSS
iTransformer'ı standart bir Transformer'dan zaman serileri için farklı kılan nedir?
Standart bir Transformer her zaman adımını belirteçler, bu nedenle dikkat zamansal konum bağımlılıklarını yakalar. iTransformer her değişkeni (kanalı) belirteçler, bu nedenle dikkat değişkenler arası bağımlılıkları yakalar. Zamansal örüntüler, her değişken belirteci içinde uygulanan ileri beslemeli alt katman tarafından ele alınır. Bu mimari tersine çevirme, tek ama sonuçlu değişikliktir.
iTransformer tek değişkenli tahmin için uygun mudur?
Standart formunda değil. Tersine çevrilmiş dikkat mekanizması, birden fazla değişken belirtecini karşılaştırarak fayda sağlar. Tek bir değişkenle yalnızca bir belirteç vardır ve dikkat önemsiz derecede bilgisizdir. Tek değişkenli problemler için PatchTST veya N-BEATS gibi mimariler genellikle daha uygundur.
iTransformer özel ön işleme veya normalleştirme gerektirir mi?
Orijinal makale, iTransformer'ı standart normalleştirme ile değerlendirir ve RevIN gibi örnek düzeyinde normalleştirme stratejilerinin tamamlayıcı olduğunu belirtir. Farklı değişkenler çok farklı ölçeklere sahip olabileceğinden, gömme öncesinde örnek başına veya kanal başına normalleştirme pratikte şiddetle tavsiye edilir ve bunun atlanması, sonuçların bozulmasının yaygın bir nedenidir.
Kaynaklar
- Liu, Y., Hu, T., Zhang, H., Wu, H., Wang, S., Ma, L., & Long, M. (2024). iTransformer: Inverted transformers are effective for time series forecasting. ICLR. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). iTransformer (Inverted Transformer for Forecasting). ScholarGate. https://scholargate.app/tr/deep-learning/itransformer