Multilingual Transformer

Ein multilingualer Transformer ist ein vortrainiertes Sprachmodell, das auf der Transformer-Architektur basiert und gemeinsam auf Texten aus Dutzenden bis über hundert Sprachen trainiert wurde. Modelle wie mBERT und XLM-RoBERTa lernen gemeinsame, sprachübergreifende Repräsentationen, die Zero-Shot- oder Few-Shot-Transfer ermöglichen: Ein Modell, das auf englischen Daten feinabgestimmt wurde, kann oft direkt auf Französisch, Deutsch, Arabisch oder Chinesisch angewendet werden, ohne sprachspezifische Labels.