Çok Dilli RoBERTa Tabanlı Sınıflandırma
Multilingual RoBERTa-based Text Classification (XLM-RoBERTa) · Ayrıca şöyle bilinir: XLM-RoBERTa classification, mRoBERTa, cross-lingual RoBERTa classifier, multilingual transformer classification
Çok dilli RoBERTa tabanlı sınıflandırma, maskeli dil modellemesi aracılığıyla 100'den fazla dilde önceden eğitilmiş bir transformatör olan XLM-RoBERTa'yı kullanır ve birden çok dilde kategoriler atamak için etiketli metin üzerinde ince ayar yapar. Diller arasında tek bir model paylaşarak, ayrı dil başına sınıflandırıcılara ihtiyaç duymadan sağlam diller arası ve sıfır atışlı metin sınıflandırması sağlar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Birden çok dilde metniniz olduğunda ve tek bir birleşik model istediğinizde veya etiketli veriler bir dilde mevcutken çıkarımın diğer dilleri kapsaması gerektiğinde (sıfır atışlı veya az atışlı aktarım) çok dilli RoBERTa tabanlı sınıflandırmayı kullanın. Duygu analizi, konu kategorizasyonu, nefret söylemi tespiti ve dil engelleri arasında niyet sınıflandırmasında üstündür. Hedef diller düşük kaynaklı veya karışıksa, tek dilli BERT veya RoBERTa yerine bunu tercih edin. Tüm metin tek bir yüksek kaynaklı dildeyse ve bol miktarda etiketli veriniz varsa bundan kaçının — bu durumda tek dilli bir RoBERTa onu geride bırakacaktır. Ayrıca, hesaplama açısından pahalı olduğu için niceleme yapılmadan uç cihazlarda veya gecikme açısından kritik üretim sistemlerinde bundan kaçının.
Güçlü yönler & sınırlılıklar
- Tek model 100'den fazla dili kapsar, dil başına model eğitimi ve bakımı ihtiyacını ortadan kaldırır.
- Güçlü sıfır atışlı ve az atışlı diller arası aktarım — İngilizce veriler üzerinde ince ayar yapmak genellikle diğer dillerde rekabetçi sonuçlar verir.
- Çok dilli doğal dil işleme (NLP) kıyaslamalarında (XNLI, MLQA, XQuAD) son teknoloji performans.
- Paylaşılan SentencePiece belirteçlere ayırıcısı, dile özgü ön işleme olmadan çeşitli komut dosyalarını işler.
- Aktif topluluk desteğiyle iyi belgelenmiş, açık ağırlıklı bir model (Hugging Face'de mevcut) tarafından desteklenmektedir.
- Hesaplama açısından ağır: ince ayar bir GPU gerektirir ve çıkarım gecikmesi hafif sınıflandırıcılara kıyasla yüksektir.
- Yüksek kaynaklı diller (İngilizce, Almanca, Fransızca) aynı model içinde bile düşük kaynaklı dillerden sistematik olarak daha iyi performans gösterir.
- 250 bin birimlik belirteçlere ayırıcı kelime dağarcığı tüm komut dosyaları arasında paylaşılır, bu nedenle düşük kaynaklı diller birçok alt kelimeye ayrılabilir ve dizi uzunluğunu şişirebilir.
- Büyük depolama alanı (temel için 1,1 GB, büyük için 4,3 GB) kaynak kısıtlı sistemlerde dağıtımı sınırlar.
- İnce ayar dikkatli hiperparametre ayarı gerektirir; agresif öğrenme oranları, önceden eğitilmiş çok dilli temsillerin felaketle sonuçlanan unutulmasına neden olabilir.
SSS
XLM-RoBERTa hangi dilleri destekler?
XLM-RoBERTa, İngilizce, Almanca, Fransızca ve Çince gibi yüksek kaynaklı dillerin yanı sıra birçok düşük kaynaklı dil dahil olmak üzere 100 dili kapsar. Çok az CC-100 ön eğitim verisine sahip diller için performans kademeli olarak düşer.
Sadece İngilizce üzerinde ince ayar yapıp modeli diğer dillere uygulayabilir miyim?
Evet. Buna sıfır atışlı diller arası aktarım denir. Paylaşılan çok dilli temsiller, benzer anlamsal içeriği diller arasında hizaladığı için çalışır. Performans değişir: yakından ilişkili diller daha iyi aktarılır; uzak veya düşük kaynaklı diller en az birkaç etiketli örneğe ihtiyaç duyabilir.
XLM-RoBERTa, çok dilli BERT'ten (mBERT) nasıl farklıdır?
Her ikisi de maskeli dil modellemesi aracılığıyla eğitilmiş çok dilli transformatörlerdir. XLM-RoBERTa çok daha büyük ve daha temiz bir ön eğitim külliyatı (CC-100'e karşı Wikipedia), daha büyük paylaşılan bir kelime dağarcığı (250k'ye karşı 120k) ve RoBERTa eğitim iyileştirmelerini (sonraki cümle tahmini yok, dinamik maskeleme, daha uzun eğitim) kullanır. Bu farklılıklar, kıyaslamalar arasında sürekli olarak daha iyi diller arası aktarım üretir.
İnce ayar için hangi donanıma ihtiyacım var?
Temel model için, 128 belirteçte 16-32 dizilik partiler için 16 GB VRAM'li tek bir GPU yeterlidir. Büyük model en az 24 GB VRAM veya gradyan kontrol noktası gerektirir. Tipik bir sınıflandırma görevi için eğitim süresi modern bir GPU'da birkaç saattir.
Temel mi yoksa büyük varyantı mı kullanmalıyım?
Temel varyant, çoğu araştırma ve üretim iş yükü için güçlü bir varsayılandır. Büyük varyant, kıyaslamalarda birkaç yüzde puanı daha fazla doğruluk sağlar ancak yaklaşık dört kat daha fazla hesaplama ve depolama maliyeti vardır. Kıyaslama performansı birincil endişe olduğunda ve hesaplama kısıtlı olmadığında büyük modeli kullanın.
Kaynaklar
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzman, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 8440–8451. DOI: 10.18653/v1/2020.acl-main.747 ↗
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Multilingual RoBERTa-based Text Classification (XLM-RoBERTa). ScholarGate. https://scholargate.app/tr/deep-learning/multilingual-roberta-based-classification
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Çok dilli Cümle GömmeDerin öğrenme↔ karşılaştır
- Çok dilli TransformerDerin öğrenme↔ karşılaştır
- RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır