Uzun Diziler İçin Verimli Transformer: Reformer
Reformer (The Efficient Transformer) · Ayrıca şöyle bilinir: Efficient Transformer, LSH Transformer, Locality-Sensitive Hashing Transformer, Verimli Dönüştürücü
Reformer, Kitaev, Kaiser ve Levskaya tarafından ICLR 2020'de tanıtılan Transformer mimarisinin verimli bir varyantıdır. Uzun diziler için standart kendi kendine dikkat mekanizmasının (self-attention) aşırı O(L²) bellek ve hesaplama maliyetini ele alır. Temel yenilikler, O(L log L) zamanda tam dikkati yaklaştıran yerelliğe duyarlı karma (LSH) dikkat mekanizması ve eğitim sırasında aktivasyon belleğini önemli ölçüde azaltan tersinir artık katmanlardır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Dizileriniz çok uzun olduğunda (on binlerce zaman adımı veya belirteç) ve standart Transformer eğitimi bellek kısıtlamaları nedeniyle uygulanamadığında Reformer'ı kullanın. Genişletilmiş bağlam pencerelerine sahip tek değişkenli veya çok değişkenli zaman serisi tahmin görevleri için uygundur. Girdinin belirteçleştirilebilir olduğunu ve yaklaşık dikkatin yeterli olduğunu varsayın. LSH yaklaşımı, tam dikkatin karşılanabilir olduğu kısa dizilerde doğruluğu düşürebilir. Orta uzunluktaki diziler için vanilla Transformer veya Informer'ı; aşırı uzunluktaki görevler için Pyraformer veya Autoformer'ı da düşünebilirsiniz.
Güçlü yönler & sınırlılıklar
- Kendi kendine dikkat karmaşıklığını O(L²)'den O(L log L)'ye düşürerek çok uzun dizi modellemesini mümkün kılar
- Tersinir artık katmanlar bellek kullanımını O(derinlik × L)'den O(L)'ye düşürerek derin modellerin sınırlı donanımda çalışmasını sağlar
- Parçalanmış beslemeli ileri beslemeli katmanlar, model çıktılarında değişiklik yapmadan tepe bellek kullanımını daha da azaltır
- Standart Transformer eğitim işlem hatları ve ön eğitim paradigmalarıyla uyumludur
- LSH dikkat bir yaklaşımdır; ilgili belirteçler farklı gruplara düşerse nadiren de olsa önemli uzun menzilli bağımlılıklar kaçırılabilir
- Birden çok karma turu geri çağırmayı iyileştirir ancak hesaplama ek yükü ve uygulama karmaşıklığı ekler
- Tersinir katmanlar, gradyan kontrol noktası stratejilerini karmaşıklaştırır ve bazı mevcut çerçevelerle entegre edilmesi daha zordur
- Kısa diziler için LSH gruplama ek yükü, Reformer'ı standart bir Transformer'dan daha yavaş hale getirebilir
SSS
LSH dikkat, standart çok başlı dikkatten nasıl farklıdır?
Standart çok başlı dikkat, her sorgu-anahtar çifti arasında nokta çarpımları hesaplar ve bu da O(L²) maliyete yol açar. LSH dikkat, önce sorguları ve anahtarları rastgele yansıtmalardan yararlanarak gruplara ayırır, ardından dikkati grup içi çiftlerle sınırlar. Benzer vektörler aynı gruba düşme eğiliminde olduğundan, çoğu ilgili etkileşim korunurken maliyet O(L log L)'ye düşer. Birden çok karma turu, orantılı maliyetle geri çağırmayı artırır.
Tersinir artık katmanlar nelerdir ve neden bellekten tasarruf sağlarlar?
Tersinir katmanlar, RevNet'ten uyarlanarak, artık akışı sırayla güncellenen iki yarıya böler. Bir katmanın çıktısı verildiğinde, girdisi geri yayılım sırasında tam olarak yeniden hesaplanabilir, bu nedenle ara aktivasyonların saklanması gerekmez. Bu, aktivasyon belleğini O(derinlik × L)'den O(L)'ye düşürür, bu da derin Reformer'ların uzun dizilerde çalışmasını sağlayan baskın tasarruftur.
Reformer kısa zaman serisi görevleri için uygun mudur?
Genellikle hayır. Birkaç yüz ila birkaç bin adımlık diziler için, standart Transformer'lar veya N-BEATS veya PatchTST gibi daha basit mimariler daha hızlı ve genellikle daha doğrudur. Reformer'ın verimlilik kazanımları yalnızca dizi uzunluğu standart dikkatin bir darboğaz olduğu kadar büyük olduğunda anlamlı hale gelir, pratikte kabaca L > 4.000.
Kaynaklar
- Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The efficient transformer. ICLR. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Reformer (The Efficient Transformer). ScholarGate. https://scholargate.app/tr/deep-learning/reformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BilgilendiriciDerin öğrenme↔ karşılaştır