Cümle Gömme ile Transfer Öğrenme
Transfer Learning with Pre-trained Sentence Embedding Models · Ayrıca şöyle bilinir: sentence embedding transfer learning, pre-trained sentence encoder fine-tuning, SBERT transfer learning, sentence representation transfer
Cümle Gömme ile Transfer Öğrenme, genel dil bilgisini sabit uzunluklu vektörlere kodlayan Sentence-BERT veya Universal Sentence Encoder gibi büyük, önceden eğitilmiş bir kodlayıcıyı alır ve az miktarda ek etiketli veriyle yeni bir göreve veya alana uyarlar. Önceden eğitilmiş temsiller, mütevazı veri kümelerinde sıfırdan eğitilmiş göreve özgü modellerden genellikle daha iyi performans gösteren bir başlangıç avantajı sağlar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Cümle veya kısa paragraf metniniz olduğunda, sınırlı etiketli veriniz olduğunda ve anlamsal arama, cümle benzerliği, kümeleme veya metin sınıflandırma gibi görevler için anlamsal temsiller gerektiğinde kullanın. Özellikle diliniz veya alanınız için güçlü bir önceden eğitilmiş kodlayıcı bulunduğunda ve birkaç binden az etiketli örneğiniz olduğunda güçlüdür — önceden eğitilmiş bilgi aşırı uyumu önler. Hedef alanınızın ön eğitim veri kümelerinden (örneğin, yüksek derecede teknik klinik notlar) önemli ölçüde saptığı ve alana özgü bir kodlayıcı bulunmadığı durumlarda veya adlandırılmış varlık tanıma gibi ham jeton düzeyinde tahminlerin gerektiği durumlarda kaçının, çünkü cümle düzeyinde toplama konumsal bilgiyi atar. Ayrıca, gerçek zamanlı kısıtlamalar milisaniyenin altındaki gecikme gerektirdiğinde ve kodlayıcı verimli bir şekilde hizmet verilemeyecek kadar büyükse kaçının.
Güçlü yönler & sınırlılıklar
- Çok az etiketli örnekle güçlü anlamsal benzerlik ve alma performansı elde eder.
- Sabit uzunluklu yoğun vektörler, büyük ölçekli alma için hızlı kosinüs benzerliği hesaplamasını sağlar.
- Çeşitli veri kümeleri üzerinde ön eğitim, kutudan çıktığı haliyle sağlam genel dil anlayışı sağlar.
- Çift kodlayıcı mimarisi, belgelerin gömmelerinin çevrimdışı indekslenmesine izin vererek ölçeklenebilir aramayı mümkün kılar.
- Çok dilli varyantlar (örneğin, paraphrase-multilingual-MiniLM), yaklaşımı ayrı modeller olmadan çapraz dil görevlerine genişletir.
- Cümle düzeyinde toplama, jeton konumsal bilgilerini kaybeder, bu da yaklaşımı NER veya aralık çıkarma gibi jeton düzeyindeki görevler için uygunsuz hale getirir.
- Hedef alan ön eğitim dağılımından uzak olduğunda ve alana uyarlanmış bir kodlayıcı mevcut olmadığında performans düşer.
- Büyük kodlayıcılar (örneğin, 768 boyutlu BERT tabanlı), kaynak kısıtlı ortamlarda engelleyici olabilecek bellek ve gecikme maliyetleri getirir.
- Zıtlık ince ayarı, oluşturulması pahalı olabilecek dikkatlice küratörlü pozitif ve negatif cümle çiftleri gerektirir.
- Anlamsal benzerlik kıyaslamaları (STS) üzerindeki değerlendirme, her zaman aşağı akış görev kıyaslamalarındaki performansı tahmin etmez.
SSS
Kodlayıcıyı ne zaman ince ayarlamalıyım, ne zaman dondurmalıyım?
Çok az etiketli örneğiniz olduğunda (birkaç yüzden az), ince ayar aşırı uyum riskini taşıdığından kodlayıcıyı dondurun. En az birkaç yüz etiketli çiftiniz olduğunda ve hedef alan ön eğitim dağılımından farklı olduğunda üst katmanları veya tam kodlayıcıyı ince ayarlayın.
Bir çift kodlayıcı ile bir çapraz kodlayıcı arasındaki fark nedir?
Bir çift kodlayıcı, her cümleyi bağımsız olarak işler ve benzerliği nokta çarpımı veya kosinüs aracılığıyla hesaplar, bu da hızlı büyük ölçekli almayı sağlar. Bir çapraz kodlayıcı, cümle çiftlerini dikkat mekanizması aracılığıyla ortaklaşa işler, daha yüksek doğruluk sağlar ancak her sorgu-belge çiftinin karşılaştırılmasını gerektirir, bu da büyük ölçekli alma için çok yavaştır. Yaygın bir model, çift kodlayıcı alımı ve ardından çapraz kodlayıcı yeniden sıralamasıdır.
Etkili bir şekilde ince ayar yapmak için kaç etiketli örneğe ihtiyacım var?
Güçlü bir önceden eğitilmiş modelden başlayarak, benzerlik görevleri için birkaç yüz etiketli çift kadar az örnekle anlamlı iyileştirmeler bildirilmiştir. Çok sayıda kategori içeren sınıflandırma için, sınıf başına birkaç bin örnek daha tipiktir. Sıfır atışlı transfer (ince ayar yok), karşılaştırma için geçerli bir temel çizgidir.
Hangi cümle gömme modelini seçmeliyim?
Genel İngilizce görevleri için all-MiniLM-L6-v2 iyi bir hız-doğruluk dengesi sunar. Çok dilli görevler için paraphrase-multilingual-MiniLM veya LaBSE güçlü varsayılanlardır. Bilimsel metinler için SPECTER veya SciBERT tabanlı cümle modelleri tercih edilir. Bir modele karar vermeden önce her zaman gerçek görevinizde hızlı bir kıyaslama yapın.
Cümle gömmeleri uzun belgeleri işleyebilir mi?
Çoğu kodlayıcı 128 veya 256 jetonluk diziler için optimize edilmiştir; daha uzun belgeler kesilir veya parçalama ve parça gömmelerini toplama yoluyla işlenir. Belge düzeyinde alma için, örtüşen pencerelere ayırmak veya Longformer gibi özel bir uzun belge kodlayıcısı kullanmak önerilir.
Kaynaklar
- Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3982–3992. link ↗
- Conneau, A., Kiela, D., Schwentz, H., Barrault, L. & Bordes, A. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), 670–680. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Transfer Learning with Pre-trained Sentence Embedding Models. ScholarGate. https://scholargate.app/tr/deep-learning/transfer-learning-with-sentence-embeddings
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- İnce Ayarlı Cümle Gömme İşlemleriDerin öğrenme↔ karşılaştır
- RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Cümle Gömme (Sentence Embeddings)Derin öğrenme↔ karşılaştır
- BERT Tabanlı Sınıflandırma ile Transfer ÖğrenimiDerin öğrenme↔ karşılaştır