Machine learningDeep learning / NLP / CV

Classification basée sur BERT et adaptée au domaine

La classification basée sur BERT et adaptée au domaine étend le pipeline standard de réglage fin en continuant d'abord le pré-entraînement de BERT avec le modèle de langage masqué (MLM) sur un grand corpus de textes non étiquetés du domaine, puis en réglant finement le modèle adapté sur des exemples étiquetés pour la tâche de classification cible. Cette approche en deux étapes comble le fossé lexical et distributionnel entre le corpus de pré-entraînement général de BERT et les domaines spécialisés tels que la biomédecine, le droit, la finance ou les textes des médias sociaux.

Ouvrir dans MethodMindBientôtVidéoBientôtDownload slides

Lire la méthode complète

Réservé aux membres

Connectez-vous avec un compte gratuit pour lire cette section.

Se connecter

Method map

The neighbourhood of related methods — select a node to explore.

Classification basée sur BERT et adaptée au domaine

Classification basée sur…Transformeur à adaptatio…Classification par BERT…Classification basée sur…Plongements de phrases Transfer Learning avec C…Doc2Vec adaptatif au dom…Reconnaissance adaptativ…Question-réponse adaptat…Réseau de neurones récur…

+4 more

Sources

Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗

Comment citer cette page

ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/fr/deep-learning/domain-adaptive-bert-based-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Classification basée sur BERTApprentissage profond↔ compare
Transformeur à adaptation de domaineApprentissage profond↔ compare
Classification par BERT affinéApprentissage profond↔ compare
Classification basée sur RoBERTaApprentissage profond↔ compare
Plongements de phrasesApprentissage profond↔ compare
Transfer Learning avec Classification basée sur BERTApprentissage profond↔ compare

Compare side by side →

Référencée par

Doc2Vec adaptatif au domaine Reconnaissance adaptative de noms dans un domaine Question-réponse adaptative au domaine Réseau de neurones récurrent à adaptation de domaine Classification RoBERTa adaptative au domaine Adaptation de domaine pour la résumé de texte Vision Transformer adaptatif au domaine Classification par BERT sous supervision faible

Une erreur sur cette page ? Signalez-la ou proposez une correction →