Longformer / BigBird
Long-Sequence Transformers with Sparse Attention (Longformer / BigBird) · Ayrıca şöyle bilinir: Uzun Dizi Transformer (Longformer / BigBird), uzun dizi transformer, long-document transformer, sparse-attention transformer
Longformer (Beltagy, Peters & Cohan, 2020) ve BigBird (Zaheer et al., 2020) gibi uzun dizilim Transformer'ları, standart Transformer'ın O(n²) dikkat mekanizmasını, dizilim uzunluğuna göre doğrusal olarak O(n) ölçeklenen seyrek dikkat (sparse attention) örüntüleriyle değiştirir. Bu, tek bir modelin, geleneksel bir Transformer'a sığmayacak binlerce belirteci (tam belgeler, yasal metinler veya genomik dizilimler) dikkate almasını sağlar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Metniniz tipik olarak 512 belirtecin üzerinde uzun belgeler (tam raporlar, yasal metinler veya genomik dizilimler) olduğunda ve belge üzerinde sınıflandırma veya açıklama gerektiğinde uzun dizilim Transformer'larını kullanın. Gerçekten uzun girdilerin mevcut olduğunu varsayarlar, bir GPU şiddetle tavsiye edilir ve küresel belirteç konumları mantıklı bir şekilde seçilmelidir. Makul miktarda veriye ihtiyaç duyarlar: yaklaşık 500 belgenin altında model aşırı uyum eğilimindedir ve yaklaşık 100 belgenin altında eğitim anlamlı değildir ve Random Forest veya XGBoost gibi klasik ML tercih edilir.
Güçlü yönler & sınırlılıklar
- Standart bir Transformer'ın penceresini aşan binlerce belirteci (tam belgeler) işler.
- Yoğun dikkat mekanizmasının karesel O(n²) ölçeklenmesi yerine doğrusal O(n) dikkat ölçeklenmesi.
- Uzun menzilli bilgi akışı için yerel kayan pencere bağlamını küresel belirteçlerle birleştirir.
- Hukuk, genomik ve uzun biçimli metinlerde uzun belge sınıflandırması için uygundur.
- Bir GPU etkin olarak gereklidir; eğitim ve çıkarım hesaplama açısından yoğundur.
- Küçük belge kümelerinde aşırı uyum gösterir — yaklaşık 500 belgenin altında sonuçlar güvenilmezdir.
- Yaklaşık 100 belgenin altında eğitim anlamsızdır ve bunun yerine klasik ML kullanılmalıdır.
- Küresel belirteç konumları doğru seçilmelidir, aksi takdirde uzun menzilli bilgi akışı bozulur.
SSS
Bu, BERT gibi standart bir Transformer'dan nasıl farklıdır?
Standart bir Transformer, her belirteci diğer her belirteçle O(n²) maliyetle karşılaştıran yoğun dikkat kullanır, bu da pratikte girdileri yaklaşık 512 belirteçle sınırlar. Longformer ve BigBird, seyrek dikkat kullanır — çoğunlukla yerel kayan pencereler artı birkaç küresel belirteç — bu nedenle maliyet doğrusal olarak artar ve birkaç bin belirteçlik girdiler mümkün hale gelir.
Klasik ML yerine Longformer veya BigBird'i ne zaman tercih etmeliyim?
Metniniz gerçekten uzunsa (512 belirtecin üzerinde) ve yeterli belgeniz varsa kullanın. Yaklaşık 500 belgeden az olduğunda model aşırı uyum eğilimindedir ve kabaca 100 belgeden az olduğunda eğitim anlamlı değildir — bu durumda Random Forest veya XGBoost gibi klasik yöntemler daha güvenli bir seçimdir.
Küresel belirteçler nelerdir ve neden önemlidirler?
Küresel belirteçler, tüm dizilimi dikkate almaya ve tüm dizilim tarafından dikkate alınmaya izin verilen az sayıda konumdur. Bunlar, uzun menzilli bilginin belge boyunca hareket ettiği kanaldır, bu nedenle konumlarını doğru seçmek performans için önemlidir.
Özel donanıma ihtiyacım var mı?
Bir GPU şiddetle tavsiye edilir. Bu modeller hala büyük ağlarla uzun dizilimleri işler, bu nedenle eğitim ve çıkarım, doğrusal ölçeklenen dikkatle bile hesaplama açısından yoğundur.
Kaynaklar
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/tr/deep-learning/longformer-bigbird
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Graf Dikkat AğıDerin öğrenme↔ karşılaştır
- Uzmanlar KarmasıDerin öğrenme↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır