Multilingual Vision Transformer (Multilingual ViT)

یک ترانسفورمر بینایی استاندارد، تصویر را به پچ‌هایی با اندازه ثابت تقسیم می‌کند و آن‌ها را به عنوان توکن‌هایی در نظر می‌گیرد که توسط یک رمزگذار ترانسفورمر پردازش می‌شوند — همین مکانیزم که در BERT برای متن استفاده می‌شود. یک نسخه چندزبانه، این رمزگذاری بصری را با یک رمزگذار متن چندزبانه که به طور همزمان بر روی ده‌ها زبان آموزش دیده است، جفت می‌کند. نکته کلیدی این است که ویژگی‌های بصری تا حد زیادی مستقل از زبان هستند، بنابراین یک برج تصویر مشترک می‌تواند با نمایش‌های متنی چندزبانه آموخته شده از پیکره‌های متنی چندزبانه هم‌تراز شود. این امر به مدلی که بر روی جفت‌های تصویر-شرح انگلیسی آموزش دیده است، اجازه می‌دهد تا بدون نیاز به آموزش مجدد از ابتدا، به پرس‌وجوهای فرانسوی، آلمانی یا چینی تعمیم یابد.