Мультиязычный трансформер

Мультиязычный трансформер — это предварительно обученная языковая модель, построенная на архитектуре трансформера и обученная совместно на текстах десятков или более чем ста языков. Такие модели, как mBERT и XLM-RoBERTa, изучают общие кросс-языковые представления, что позволяет осуществлять перенос с нулевым или малым количеством примеров (zero-shot или few-shot transfer): модель, дообученная на английских данных, часто может быть непосредственно применена к французскому, немецкому, арабскому или китайскому языкам без специфических для языка меток.