ScholarGate
Assistent
Machine learningDeep learning / NLP / CV

Classificació basada en BERT adaptada al domini

La classificació basada en BERT adaptada al domini estén el pipeline estàndard de fine-tuning (ajustament fi) continuant primer el pre-entrenament del model de llenguatge emmascarat (MLM) de BERT en un gran corpus de text no etiquetat del domini, i després fent el fine-tuning del model adaptat amb exemples etiquetats per a la tasca de classificació objectiu. Aquest enfocament de dues etapes tanca la bretxa de vocabulari i distribució entre el corpus de pre-entrenament general de BERT i dominis especialitzats com la biomedicina, el dret, les finances o el text de xarxes socials.

Obre a MethodMindAviatVídeoAviatDownload slides

Llegeix el mètode complet

Només per a membres

Inicia la sessió amb un compte gratuït per llegir aquesta secció.

Inicia la sessió

Method map

The neighbourhood of related methods — select a node to explore.

Classificació basada en BERT adaptada al domini
Classificació basada en…Transformer Adaptatiu al…Classificació basada en…Classificació basada en…Sentence EmbeddingsAprenentatge per transfe…Doc2Vec adaptatiu al dom…Reconeixement d'Entitats…Preguntes i respostes ad…Xarxa neuronal recurrent…

+4 more

Fonts

  1. Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
  2. Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗

Com citar aquesta pàgina

ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/ca/deep-learning/domain-adaptive-bert-based-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Citat per

Doc2Vec adaptatiu al dominiReconeixement d'Entitats Anomenades Adaptatiu al DominiPreguntes i respostes adaptades al dominiXarxa neuronal recurrent adaptativa al dominiClassificació basada en RoBERTa adaptada al dominiResum adaptatiu al dominiVision Transformer Adaptatiu al DominiClassificació amb BERT basada en supervisió feble

Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →

ScholarGate — Domain-adaptive BERT-based Classification (Domain-Adaptive Pre-training with BERT for Text Classification). Recuperat el 2026-06-15 de https://scholargate.app/ca/deep-learning/domain-adaptive-bert-based-classification · Conjunt de dades: https://doi.org/10.5281/zenodo.20539026