Çok dilli Transformer
Multilingual Transformer (Cross-lingual Pre-trained Language Model) · Ayrıca şöyle bilinir: multilingual LM, cross-lingual transformer, mBERT-style model, multilingual pre-trained model
Çok dilli bir transformer, transformer mimarisi üzerine kurulu ve onlarca hatta yüzden fazla dildeki metinler üzerinde ortaklaşa eğitilmiş önceden eğitilmiş bir dil modelidir. mBERT ve XLM-RoBERTa gibi modeller, sıfır-atama (zero-shot) veya az-atama (few-shot) transferini mümkün kılan paylaşımlı çapraz-dilsel temsiller öğrenir: İngilizce veriler üzerinde ince ayarlanmış bir model, genellikle dilsel etiketlere ihtiyaç duymadan Fransızca, Almanca, Arapça veya Çince'ye doğrudan uygulanabilir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+10 tane daha
Ne zaman kullanılır
Verileriniz birden çok dili kapsıyorsa, bazı dillerde etiketli veriler azken diğerlerinde mevcutsa veya çıkarım zamanında çok dilli girdiyi işlemek için tek, birleşik bir modele ihtiyacınız varsa çok dilli bir transformer kullanın. Özellikle sınıflandırma, NER ve soru yanıtlama gibi Doğal Dil İşleme (NLP) görevlerinde sıfır-atama veya az-atama çapraz-dilsel transfer için değerlidir. Bol etiketli veriye sahip tek, yüksek kaynaklı bir dilde çalışıyorsanız — o dilde tek başına eğitilmiş tek dilli bir model genellikle çok dilli bir modelden daha iyi performans gösterir — bundan kaçının. Ayrıca, büyük çok dilli modeller kaynak yoğun olduğu için hesaplama veya bellek bütçeleri çok kısıtlıysa bundan kaçının.
Güçlü yönler & sınırlılıklar
- Sıfır-atama ve az-atama transferini etkinleştirir: bir dilde ince ayarlanmış bir model, ek etiketli veri olmadan diğerlerine genelleme yapar.
- Tek bir model birçok dili işler, ayrı dil özel modellerine kıyasla dağıtımı ve bakımı basitleştirir.
- Daha yüksek kaynaklı akrabalarla paylaşılan temsillerden yararlanan düşük kaynaklı diller için güçlü taban çizgileri.
- mBERT, XLM-R, mT5 ve diğerlerinin önceden eğitilmiş kontrol noktalarıyla açık kaynak ekosistemleri (Hugging Face Transformers) tarafından iyi desteklenir.
- Bağlamsal gömülmeler, statik kelime gömülmelerinin temsil edemeyeceği nüanslı anlamları yakalar.
- Çok dilli laneti: her bireysel dildeki performans, yalnızca o dilde eğitilmiş karşılaştırılabilir tek dilli bir modele kıyasla daha düşük olma eğilimindedir.
- Büyük model boyutları (yüz milyonlarca ila milyarlarca parametre), hem ince ayar hem de çıkarım için önemli GPU belleği ve hesaplama gerektirir.
- Kapsam düzensizdir — ön eğitim korpusunda az eğitim verisi olan düşük kaynaklı diller daha zayıf temsiller alır.
- Morfolojik olarak karmaşık veya betik açısından çeşitli dillerin jetonlanması, paylaşımlı bir kelime dağarcığı ile optimal olmayabilir.
SSS
Çok dilli bir transformer makine çevirisi modeli ile aynı mıdır?
Hayır. Çok dilli bir transformer diller arasında paylaşımlı temsiller öğrenir ancak metin çevirmez. Çapraz-dilsel anlayıştan beslenen dil özel çıktılar (örneğin, bir sınıflandırma etiketi) üretir, oysa bir çeviri modeli hedef dilde metin üretir.
Hangi önceden eğitilmiş kontrol noktasıyla başlamalıyım?
XLM-RoBERTa-large, çoğu NLP görevi için güçlü, genel amaçlı bir başlangıç noktasıdır. Üretim veya çeviri gerektiren görevler için mT5 iyi bir alternatiftir. Çok kısıtlı hesaplama bütçeleri için XLM-RoBERTa-base makul bir denge sunar.
Ne kadar ince ayar verisine ihtiyacım var?
Kaynak dildeki birkaç yüz etiketli örnek bile ilgili dillere faydalı sıfır-atama transferi sağlayabilir. İnce ayar sırasında az sayıda hedef dil örneği eklemek bile genellikle önemli iyileştirmeler sağlar.
Çok dilli laneti nedir ve bunu nasıl azaltabilirim?
Çok dilli laneti, birçok dil arasında kapasite paylaşımının, tek dilli modellere kıyasla dil başına performansı düşürmesi gözlemine atıfta bulunur. Azaltma stratejileri arasında daha büyük bir model kullanmak, mevcut olduğunda hedef dil verileri üzerinde ince ayar yapmak veya dil uyarlamalı ince ayar (LAFT) kullanmak yer alır.
Avrupa dışı diller için çok dilli bir transformer kullanabilir miyim?
Evet — XLM-RoBERTa gibi modeller Arapça, Çince, Japonca, Korece, Hintçe, Svahili ve diğer birçok dili kapsar. Ancak, kapsama ve kalite değişiklik gösterir: modele güvenmeden önce belirli diliniz için ön eğitim dil dağılımını inceleyin.
Kaynaklar
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, pp. 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of ACL 2020, pp. 8440–8451. Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Multilingual Transformer (Cross-lingual Pre-trained Language Model). ScholarGate. https://scholargate.app/tr/deep-learning/multilingual-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Çok dilli Cümle GömmeDerin öğrenme↔ karşılaştır
- RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Cümle Gömme (Sentence Embeddings)Derin öğrenme↔ karşılaştır