Πολυγλωσσικό Transformer

Ένα πολυγλωσσικό transformer είναι ένα προεκπαιδευμένο γλωσσικό μοντέλο χτισμένο στην αρχιτεκτονική transformer και εκπαιδευμένο από κοινού σε κείμενα από δεκάδες έως πάνω από εκατό γλώσσες. Μοντέλα όπως το mBERT και το XLM-RoBERTa μαθαίνουν κοινές διαγλωσσικές αναπαραστάσεις, επιτρέποντας μηδενική (zero-shot) ή ολιγόπιστη (few-shot) μεταφορά: ένα μοντέλο που έχει προσαρμοστεί (fine-tuned) σε αγγλικά δεδομένα μπορεί συχνά να εφαρμοστεί απευθείας στα γαλλικά, γερμανικά, αραβικά ή κινέζικα χωρίς γλωσσικά ειδικές ετικέτες.