Transformer affiné

L'affinage d'un Transformer adapte un grand modèle pré-entraîné — tel que BERT, GPT ou ViT — à une tâche spécifique en aval en poursuivant l'entraînement basé sur le gradient sur un jeu de données cible étiqueté. Ce paradigme en deux étapes (pré-entraînement puis affinage) obtient constamment des résultats de pointe dans les tâches de NLP et de vision par ordinateur avec beaucoup moins de données spécifiques à la tâche que l'entraînement à partir de zéro.