Çok Dilli Vision Transformer
Multilingual Vision Transformer (Multilingual ViT) · Ayrıca şöyle bilinir: Multilingual ViT, Cross-lingual Vision Transformer, Multilingual Visual Transformer, ML-ViT
Çok Dilli Vision Transformer (Multilingual ViT), Vision Transformer mimarisini birden çok dilde çalışacak şekilde genişleterek, çok dilli veya çapraz dilli ortamlarda görüntü anlama ve görüntü-metin akıl yürütme olanağı sağlar. Görüntü parçacıklarını kodlama ile çok dilli metin temsillerini birleştirerek, tek bir modelin görüntü başlığı oluşturma, görsel soru yanıtlama ve çapraz dilli görüntü alma gibi görevler için çeşitli dil topluluklarına hizmet etmesine olanak tanır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Görev, birden çok dili kapsayan hem görsel hem de metinsel verileri içerdiğinde Çok Dilli ViT'yi kullanın — örneğin, çapraz dilli görüntü alma, çok dilli görsel soru yanıtlama, çok dilli görüntü başlığı oluşturma veya çapraz dilli görsel temellendirme. Özellikle etiketli verilerin bir dilde bol olduğu ancak diğerlerinde kıt olduğu durumlarda, sıfır atışlı veya az atışlı çapraz dilli aktarımdan yararlanarak değerlidir. Göreviniz metin bileşeni olmayan tamamen görselse (düz ViT yeterlidir), yalnızca bir diliniz varsa (monolingual bir görsel-dil modeli muhtemelen daha iyi performans gösterecektir) veya hesaplama kaynakları kısıtlıysa — çok dilli görsel dönüştürücüler büyüktür ve eğitim ve çıkarım için önemli miktarda GPU belleği gerektirir — bundan kaçının.
Güçlü yönler & sınırlılıklar
- Tek model, dil başına model çoğalmasını önleyerek düzinelerce dilde görüntü anlamayı ele alır.
- Güçlü sıfır atışlı ve az atışlı çapraz dilli aktarım: İngilizce'de ince ayar yapın, diğer dillerde dağıtım yapın.
- Ölçeklenebilir ön eğitim: parçacık tabanlı ViT mimarisi veri ve model boyutuyla iyi ölçeklenir.
- Görüntüler ve çok dilli metin için birleşik gömme alanı, çapraz modal ve çapraz dilli almayı sağlar.
- Metin kulesi için standart çok dilli önceden eğitilmiş ağırlıklarla (XLM-R, mBERT) uyumludur, modüler geliştirmeyi sağlar.
- Paylaşılan çok dilli temsiller aracılığıyla düşük kaynaklı dillere genelleme yapar.
- Çok yüksek hesaplama maliyeti: ön eğitim ve hatta ince ayar, çoklu GPU kurulumları ve büyük bellek bütçeleri gerektirir.
- Düşük kaynaklı dillerdeki performans tipik olarak bu diller için özel monolingual görsel-dil modellerinin performansının altındadır.
- Çok dilli görüntü-metin veri kümeleri, İngilizce muadillerinden çok daha küçüktür ve daha düşük kalitededir, bu da ön eğitim sinyalini sınırlar.
- Çok dilli görsel-dil görevleri için değerlendirme kıyaslamaları sınırlıdır; sonuçların makaleler arasında karşılaştırılması zor olabilir.
- Görsel olarak temellendirilmiş kavramlar (örneğin, kültürel olarak özgü nesneler) için kelime dağarcığı kapsamı diller arasında dengesiz olabilir.
SSS
Çok Dilli ViT, hiç ince ayar yapılmamış bir dilde çalışabilir mi?
Evet, bu onun ana avantajıdır. Metin kodlayıcısı birçok dilde paylaşılan bir gömme alanında önceden eğitildiği için, model genellikle görülmeyen dilleri sıfır atışlı olarak işleyebilir, ancak performans çok düşük kaynaklı veya tipolojik olarak uzak diller için düşer.
Çok Dilli ViT, CLIP gibi standart bir görsel-dil modelinden nasıl farklıdır?
Standart CLIP çoğunlukla İngilizce'dir. Çok Dilli ViT, metin kodlayıcısını çok dilli bir omurgayla (örneğin, XLM-R) değiştirir veya tamamlar, bu da çapraz dilli görüntü-metin hizalamasını sağlar. mCLIP veya AltCLIP gibi modeller, CLIP'i açıkça çok dilli ayarlara genişletir.
Her zaman İngilizce'ye çevirmek yerine çok dilli bir model kullanmak daha mı iyidir?
Zorunlu değil. Güçlü makine çevirisine sahip yüksek kaynaklı diller için, güçlü bir İngilizce görsel-dil modeli kullanarak çevir-sonra-tahmin et iş akışı genellikle rekabetçi ve daha ucuzdur. Çok Dilli ViT, çeviri kalitesinin düşük olduğu, gecikmenin önemli olduğu veya kod değiştirilmiş veya kültürel olarak özgü girdilerin yaygın olduğu durumlarda öne çıkar.
Çok dilli görsel-dil görevleri için hangi veri kümeleri mevcuttur?
Ana kaynaklar arasında xGQA (çok dilli GQA), MaRVL (kültürlerarası görsel akıl yürütme), Multi30K (çok dilli görüntü başlıkları) ve IGLUE kıyaslama paketi bulunmaktadır. COCO başlıklarının çok dilli sürümleri de mevcuttur.
Çok Dilli ViT'yi ince ayar yapmak için minimum donanım gereksinimleri nelerdir?
Pratik ince ayar genellikle gradyan kontrolü ve karma hassasiyetli eğitim ile en az bir yüksek bellekli GPU (16 GB+ VRAM) gerektirir. Sıfırdan tam ön eğitim, çoklu düğüm GPU kümeleri gerektirir; çoğu uygulayıcı, kamuya açık olarak yayınlanan önceden eğitilmiş kontrol noktalarından başlar.
Kaynaklar
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations (ICLR 2021). link ↗
- Bugliarello, E., Liu, F., Pfeiffer, J., Reddy, S., Elliott, D., Erdem, E., Erdem, A., & Lukasiewicz, T. (2022). IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages. International Conference on Machine Learning (ICML 2022). link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Multilingual Vision Transformer (Multilingual ViT). ScholarGate. https://scholargate.app/tr/deep-learning/multilingual-vision-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Çok Dilli RoBERTa Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Çok dilli Cümle GömmeDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır