Öz-denetimli Transformer
Self-supervised Transformer (Pretraining with Self-generated Supervision) · Ayrıca şöyle bilinir: SSL Transformer, self-supervised pretraining, masked self-attention pretraining, contrastive transformer
Bir öz-denetimli Transformer, insan tarafından etiketlenmiş veriler yerine otomatik olarak oluşturulmuş denetim sinyalleri (örneğin, maskelenmiş jeton tahmini veya sonraki cümle tahmini) kullanılarak önceden eğitilmiş bir Transformer ağıdır. Elde edilen temsiller daha sonra aşağı akış görevleri için ince ayarlanır veya sorgulanır. BERT, GPT ve ViT (maskelenmiş görüntü modelleme modunda Vision Transformer), bu paradigmanın en yaygın bilinen örnekleridir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Bol miktarda etiketsiz veriniz olduğunda ancak sınırlı etiketlenmiş örneğiniz olduğunda öz-denetimli bir Transformer kullanın; NLP sınıflandırması, dizi etiketleme, soru yanıtlama ve açıklamanın pahalı olduğu görüntü tanıma görevlerinde mükemmeldir. Özellikle dil veya vizyon görevlerinde son teknoloji doğruluğu birincil hedef olduğunda ve hesaplama kaynakları GPU/TPU tabanlı ince ayara izin verdiğinde uygundur. Şu durumlarda kaçının: veri kümesi çok küçük ve alanınız için uygun önceden eğitilmiş bir kontrol noktası yok; çıkarım gecikmesi kısıtlı (Transformer'lar CNN'lere veya doğrusal modellere göre büyük ve yavaştır); veya el yapımı özellikler üzerindeki basit lojistik regresyon zaten yeterli performans elde ediyorsa, çünkü ek karmaşıklık nadiren haklı çıkar.
Güçlü yönler & sınırlılıklar
- Ön eğitim sırasında büyük etiketsiz veri kümelerinden yararlanır, aşağı akış görevleri için etiketlenmiş veri gereksinimini önemli ölçüde azaltır.
- Görevler ve alanlar arasında aktarılan genel amaçlı bağlamsal temsiller üretir.
- Öz-dikkat, RNN'lerin sıralı darboğazı olmadan uzun menzilli bağımlılıkları yakalar.
- Yaygın olarak bulunan önceden eğitilmiş kontrol noktaları (BERT, RoBERTa, GPT-2, ViT) benimsemeyi hızlandırır.
- Etkili bir şekilde ölçeklenir: daha fazla veride eğitilen daha büyük modeller tutarlı bir şekilde daha iyi temsiller sağlar.
- Aynı mimari omurgası aracılığıyla hem NLP hem de bilgisayar vizyonu görevlerine uygun.
- Ön eğitim hesaplama açısından çok pahalıdır; büyük bir kontrol noktasını ince ayarlamak hala önemli GPU belleği gerektirir.
- Çıkarım, CNN'ler veya doğrusal modeller gibi daha hafif mimarilerden daha yavaş ve daha ağırdır.
- Alan uyarlanmış bir kontrol noktası yoksa çok kısa veya yüksek derecede alana özgü metinlerde performans düşer.
- Modelin ne öğrendiğini yorumlamak zordur; dikkat örüntüleri tahminleri doğrudan açıklamaz.
- Tam öz-dikkatli dizinin uzunluğuna göre karesel bellek ve hesaplama maliyeti, çok uzun girdileri sınırlar.
SSS
Scratch'ten ön eğitim yapmam gerekiyor mu?
Nadiren. Hugging Face Hub'da yüzlerce alana özgü ve genel amaçlı önceden eğitilmiş kontrol noktası ücretsiz olarak mevcuttur. Scratch'ten ön eğitim yalnızca alanınızın yüksek derecede uzmanlaşmış olduğu ve mevcut kontrol noktalarından önemli ölçüde farklı olan büyük etiketsiz veri kümelerinin bulunduğu durumlarda haklı çıkar.
İnce ayar için ne kadar etiketlenmiş veriye ihtiyacım var?
İkili veya çok sınıflı metin sınıflandırması için genellikle birkaç yüz ila birkaç bin etiketlenmiş örnek yeterlidir. Soru yanıtlama gibi aralık çıkarma görevleri için, güçlü performans elde etmek tipik olarak birkaç bin etiketlenmiş örnek gerektirir.
Öz-denetimli ve ince ayarlanmış bir Transformer arasındaki fark nedir?
Öz-denetimli Transformer, etiketsiz verilerden temsil öğrenme olan ön eğitim paradigmasını ifade eder. İnce ayar, bu temsilleri belirli bir göreve uyarlayan sonraki denetimli aşamadır. Her iki aşama da pratikte tipik olarak birleştirilir.
512 jetondan daha uzun girdileri nasıl ele alırım?
Seçenekler arasında en bilgilendirici bölüme kesme, belgeyi örtüşen parçalara bölme ve tahminleri toplama veya bağlam penceresini verimli bir şekilde genişleten uzun menzilli Transformer varyantlarını (Longformer, BigBird) kullanma yer alır.
Sonuçları adil bir şekilde nasıl raporlarım?
Doğruluğun yanı sıra kesinlik, geri çağırma, F1 (makro ve ağırlıklı) ve AUC'yi raporlayın. Ayrılmış bir test seti ve ideal olarak birden fazla rastgele tohum kullanın. Tekrarlanabilirliği sağlamak için tam önceden eğitilmiş kontrol noktasını ve ince ayar hiperparametrelerini belirtin.
Kaynaklar
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- İnce Ayarlanmış TransformerDerin öğrenme↔ karşılaştır
- RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Öz-Denetimli Evrişimsel Sinir AğıDerin öğrenme↔ karşılaştır
- Cümle Gömme (Sentence Embeddings)Derin öğrenme↔ karşılaştır