Self-supervised BERT-based Text Classification (Pretrain then Fine-tune)

BERT lit chaque mot dans le contexte de tous les mots environnants simultanément, contrairement aux anciens modèles de gauche à droite. Avant de voir des étiquettes, il acquiert des représentations linguistiques riches en prédisant des mots aléatoirement masqués dans des millions de phrases — un objectif auto-supervisé qui ne nécessite aucune annotation humaine. L'affinage attache ensuite une petite couche de classification au-dessus et entraîne le modèle de bout en bout sur vos exemples étiquetés, de sorte que le modèle adapte sa compréhension générale du langage à votre tâche de classification spécifique en beaucoup moins d'étapes que l'entraînement à partir de zéro.