Transformer multilíngue

Um transformer multilíngue é um modelo de linguagem pré-treinado construído sobre a arquitetura transformer e treinado conjuntamente em textos de dezenas a mais de cem idiomas. Modelos como mBERT e XLM-RoBERTa aprendem representações interlinguísticas compartilhadas, permitindo transferência zero-shot ou few-shot: um modelo ajustado em dados em inglês pode frequentemente ser aplicado diretamente a francês, alemão, árabe ou chinês sem rótulos específicos do idioma.