Yarı denetimli Transformer
Semi-supervised Learning with Transformer Architectures · Ayrıca şöyle bilinir: semi-supervised transformer model, SSL transformer, transformer with self-supervised pre-training, semi-supervised attention model
Yarı denetimli Transformer mimarileriyle öğrenme, güçlü dizi modellerini eğitmek için az miktarda etiketlenmiş verinin yanı sıra büyük miktarda etiketlenmemiş veriden yararlanır. BERT ile örneklendirilen baskın örüntü, önce Transformer'ı maskelenmiş jeton tahmini gibi kendi kendine denetimli amaçlar kullanarak etiketlenmemiş veriler üzerinde önceden eğitir, ardından bunu etiketlenmiş görev üzerinde ince ayarlar. Bu iki aşamalı yaklaşım, güçlü performans elde etmek için gereken etiketlenmiş veri miktarını önemli ölçüde azaltır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+4 tane daha
Ne zaman kullanılır
Etiketlenmiş verinin az veya elde edilmesi pahalı olduğu, ancak büyük miktarda etiketlenmemiş alan içi verinin mevcut olduğu durumlarda yarı denetimli bir Transformer kullanın — NLP, biyomedikal metin madenciliği, düşük kaynaklı diller ve özel belge kümeleri için tipik durum. Yaklaşım, önceden eğitilmiş kontrol noktaları (BERT, RoBERTa, ViT) başlangıç noktası olarak kullanılabildiğinde, etiketlenmemiş ön eğitim aşaması için gereken hesaplama miktarını keskin bir şekilde azaltır. Etiketlenmemiş veri dağılımının etiketlenmiş görevden önemli ölçüde farklı olduğu (alan uyumsuzluğu zarar verebilir), hesaplama kaynaklarının ciddi şekilde kısıtlı olduğu ve alan için önceden eğitilmiş bir kontrol noktası bulunmadığı veya etiketlenmiş veri kümesinin zaten tam denetimli bir Transformer'ın tavan performansına ulaştığı durumlarda bundan kaçının.
Güçlü yönler & sınırlılıklar
- Gereken etiketlenmiş veriyi önemli ölçüde azaltır: yüzlerce yerine binlerce etiketlenmiş örnekle güçlü performans elde edilebilir.
- Önceden eğitilmiş kontrol noktaları (BERT, RoBERTa, ViT vb.) ücretsiz olarak mevcuttur, bu da çoğu durumda sıfırdan pahalı etiketlenmemiş ön eğitim çalıştırma ihtiyacını ortadan kaldırır.
- Esnek: sahte etiketleme, tutarlılık düzenlileştirme ve maskelenmiş ön eğitim varyantları, aynı çerçeve içinde sınıflandırma, dizi etiketleme, Soru Cevaplama ve vizyon görevlerini ele alır.
- Bağlamsal temsiller, daha basit modellerin kaçırdığı uzun menzilli bağımlılıkları ve çok anlamlılığı yakalar.
- Zarifçe ölçeklenir: daha fazla etiketlenmemiş veri genellikle temsilleri iyileştirir ve daha büyük Transformer mimarileri daha zengin örüntüler yakalar.
- Hesaplama maliyeti yüksektir: büyük önceden eğitilmiş Transformer'ları ince ayar yapmak bile GPU'lar ve önemli bellek gerektirir; sıfırdan tam ön eğitim, Yüksek Performanslı Hesaplama (HPC) kaynakları olmadan imkansızdır.
- Ön eğitim külliyatı ile hedef alan arasındaki alan uyumsuzluğu, alan uyarlamalı ön eğitim ile ele alınmadığı takdirde performansı iyileştirmek yerine düşürebilir.
- Sahte etiket gürültüsü, güven eşikleri çok düşük ayarlanırsa yinelemeler boyunca birikebilir ve erken hataları pekiştirebilir.
- Yorumlanabilirlik sınırlıdır: dikkat ağırlıkları güvenilir açıklamalar değildir ve model yüksek riskli ortamlarda kara kutu gibi davranır.
- Çok küçük etiketlenmiş kümeler (yaklaşık 50'den az örnek) ince ayar aşamasını kırılgan hale getirir; bu rejimde az sayıda örnekle öğrenme veya istem tabanlı yaklaşımlar daha uygun olabilir.
SSS
Etiketlenmemiş veriler üzerinde her zaman sıfırdan ön eğitim yapmam gerekir mi?
Hayır. Çoğu pratik kullanım durumu için, halka açık olarak mevcut bir önceden eğitilmiş kontrol noktasından (BERT, RoBERTa, ViT vb.) başlamalı ve etiketlenmiş verileriniz üzerinde ince ayar yapmalısınız. Yalnızca alan orijinal ön eğitim külliyatından (örneğin, klinik notlar, hukuki metin, düşük kaynaklı bir dil) çok uzak olduğunda alan uyarlamalı ön eğitim — kendi etiketlenmemiş külliyatınız üzerinde devam eden eğitim — çalıştırın.
Sahte etiketleme, kendi kendine denetimli ön eğitimden nasıl farklıdır?
Etiketlenmemiş veriler üzerinde herhangi bir etiketlenmiş örnek görülmeden önce yapay olarak oluşturulmuş görevler (maskelenmiş jetonlar, sonraki cümle tahmini) kullanır. Sahte etiketleme, ince ayar sonrası bir adımdır: etiketlenmiş veriyi zaten görmüş olan model, etiketlenmemiş örneklere etiketler atar ve bunlar daha sonra daha fazla denetimli eğitim turu için eğitim setine eklenir.
Sahte etiketleme için hangi güven eşiğini kullanmalıyım?
Yaygın bir başlangıç noktası 0.9'dur (en yüksek tahmin edilen sınıf olasılığı). Daha yüksek eşikler daha temiz ancak daha az sahte etiket üretir; daha düşük eşikler daha fazla veri ekler ancak gürültüyü artırır. Bunu küçük bir doğrulama kümesi üzerinde ayarlayın ve sahte etiketlenmiş verinin eklenmesinin doğrulama metriklerini iyileştirip iyileştirmediğini izleyin.
Tutarlılık düzenlileştirmesi (UDA), sahte etiketlemeden daha mı iyidir?
Tamamlayıcı başarısızlık modlarını ele alırlar. Tutarlılık düzenlileştirmesi, etiketlenmemiş bölgeler üzerinde doğrudan pürüzsüz temsilleri zorlar ve modelin kalibrasyon hatalarına daha az duyarlıdır, bu da model eğitiminin erken aşamalarında daha sağlam olmasını sağlar. Sahte etiketleme, uygulaması daha basittir ve büyük miktarda etiketlenmemiş veri mevcut olduğunda daha iyi ölçeklenir. Birçok en son teknoloji hattı her ikisini de birleştirir.
İnce ayar sırasında felaket unutmayı nasıl önlerim?
Doğrusal bir ısınma ve kosinüs veya doğrusal bir bozunma programı ile küçük bir öğrenme oranı (örneğin, 2e-5 ila 5e-5) kullanın. Gradyan kırpma ve katman bazlı öğrenme oranı bozunması (daha önceki katmanlar için daha düşük oranlar) önceden eğitilmiş temsilleri daha da korur. Küçük veri kümelerinde çok fazla dönem için ince ayar yapmaktan kaçının.
Kaynaklar
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/tr/deep-learning/semi-supervised-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- İnce Ayarlanmış TransformerDerin öğrenme↔ karşılaştır
- RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Öz-denetimli TransformerDerin öğrenme↔ karşılaştır