ترنسفورمر چندزبانه

ترنسفورمر چندزبانه مدلی زبانی از پیش آموزش‌دیده است که بر معماری ترنسفورمر بنا شده و به طور مشترک بر روی متونی از ده‌ها تا بیش از صد زبان آموزش دیده‌ است. مدل‌هایی مانند mBERT و XLM-RoBERTa بازنمایی‌های مشترک بین‌زبانی را فرا می‌گیرند و امکان انتقال صفر-شات (zero-shot) یا چند-شات (few-shot) را فراهم می‌کنند: مدلی که بر روی داده‌های انگلیسی تنظیم دقیق (fine-tuned) شده است، اغلب می‌تواند مستقیماً برای زبان‌های فرانسوی، آلمانی، عربی یا چینی بدون برچسب‌های زبان-خاص به کار رود.