Çok Başlı Öz-Dikkat
Multi-Head Self-Attention (Transformer Core) · Ayrıca şöyle bilinir: Öz-Dikkat ve Çok Başlı Dikkat (Multi-Head Self-Attention), öz-dikkat, multi-head attention, scaled dot-product attention
Çok başlı öz-dikkat, 2017'de Vaswani ve arkadaşları tarafından tanıtılan, bir dizideki her pozisyonun diğer tüm pozisyonlarla olan ilişkisini paralel olarak hesaplamasına olanak tanıyan mekanizmadır. Transformer mimarisinin özünü ve BERT, GPT ve T5'in temelini oluşturur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Metin veya uzak öğeler arasındaki ilişkilerin önemli olduğu ve yeterli veriyle büyük bir model eğitebildiğiniz dizisel verileri modellerken öz-dikkat kullanın — en az yaklaşık 100 gözlem, 500 veya daha fazlası tercih edilir. Bir GPU önerilir, konumsal kodlama gereklidir ve hesaplama maliyetinin dizi uzunluğuyla karesel olarak arttığına dikkat edin. Çok küçük örneklemlerde güvenilir temsiller öğrenemez; orada daha basit makine öğrenmesi modelleri daha güvenlidir.
Güçlü yönler & sınırlılıklar
- Tekrarlamanın darboğazı olmadan, uzun menzilli bağımlılıkları doğrudan yakalar.
- Pozisyonlar arasındaki tam paralel hesaplama, modern donanımda iyi ölçeklenir.
- Birden çok başlık aynı anda farklı ilişki örüntülerine dikkat edebilir.
- BERT, GPT ve T5 için paylaşılan omurga görevi görür, kapsamlı transfer öğrenme desteği ile.
- Hesaplama ve bellek maliyeti dizi uzunluğuyla karesel olarak artar, bu da çok uzun dizileri pahalı hale getirir.
- Pratik eğitim için etkili bir şekilde bir GPU gereklidir.
- Dikkat tek başına sıradan bağımsız olduğu için konumsal kodlama gerektirir.
- Küçük veri kümelerinde (yaklaşık 500'ün altındaki n) aşırı uyum sağlar ve güvenilir temsiller öğrenemez.
SSS
Dikkat puanı neden anahtar boyutunun kareköküyle ölçeklendirilir?
Ölçeklendirme olmadan, anahtar boyutu arttıkça nokta çarpımları büyür ve softmax'i yok olan gradyan bölgelerine iter. Anahtar boyutunun kareköküne bölmek, puanları kararlı bir aralıkta tutar.
Birden çok başlık ne ekler?
Her başlık kendi sorgu, anahtar ve değer projeksiyonlarını öğrenir, böylece farklı başlıklar aynı anda farklı türdeki ilişkilere dikkat edebilir. Çıktıları birleştirilir ve tek bir temsile geri projeksiyonlanır.
Konumsal kodlama neden gereklidir?
Öz-dikkat, pozisyonları değiştirilebilir kabul eder, bu nedenle kendi başına bir sıra anlayışı yoktur. Konumsal kodlama, her jetonun pozisyonu hakkında bilgi enjekte eder, böylece model kelime sırasını kullanabilir.
Ne kadar veriye ihtiyaç duyar?
Veri açtır: yaklaşık 500 örneğin altında aşırı uyum sağlar ve güvenilir temsiller öğrenemez ve yaklaşık 100'ün altında bir Transformer eğitmek anlamlı değildir. Küçük örneklemler için rastgele orman veya XGBoost gibi daha basit modeller tercih edilir.
Kaynaklar
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/tr/deep-learning/self-attention-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT İnce AyarıDerin öğrenme↔ karşılaştır
- GPT İnce AyarıDerin öğrenme↔ karşılaştır
- LoRA ve PEFTDerin öğrenme↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır