ScholarGate
Avustaja
Machine learningDeep learning / NLP / CV

Aluekohtainen BERT-pohjainen luokittelu

Aluekohtainen BERT-pohjainen luokittelu laajentaa standardia hienosäätöputkea jatkamalla ensin BERTin peite-kielimallin esikoulutusta suurella aluekohtaisella merkitsemättömällä tekstiaineistolla, ja sen jälkeen hienosäätämällä sovitettua mallia merkityillä esimerkeillä kohdeluokittelutehtävää varten. Tämä kaksivaiheinen lähestymistapa kaventaa sanaston ja jakauman välistä kuilua BERTin yleisen esikoulutusaineiston ja erikoistuneiden alueiden, kuten bio-lääketieteen, lain, rahoituksen tai sosiaalisen median tekstin, välillä.

Avaa sovelluksessa MethodMindTulossaVideoTulossaDownload slides

Lue koko menetelmä

Vain jäsenille

Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.

Kirjaudu sisään

Method map

The neighbourhood of related methods — select a node to explore.

Aluekohtainen BERT-pohjainen luokittelu
BERT-pohjainen luokitteluDomain-Adaptive Transfor…Hienosäädetty BERT-pohja…RoBERTa-pohjainen luokit…LauseupotuksetSiirto-oppiminen BERT-po…Aluedomain-adaptiivinen…Nimetyt entiteetit -tunn…Aluekohtainen kysymys-va…Aluekohtaisesti mukautuv…

+4 more

Lähteet

  1. Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
  2. Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗

Näin viittaat tähän sivuun

ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/fi/deep-learning/domain-adaptive-bert-based-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Tähän viittaavat

Aluedomain-adaptiivinen Doc2VecNimetyt entiteetit -tunnistus (Domain-adaptive Named Entity Recognition, DA-NER)Aluekohtainen kysymys-vastaus -järjestelmäAluekohtaisesti mukautuva toistuva hermoverkkoDomain-adaptive RoBERTa-pohjainen luokitteluAluekohtainen tekstin tiivistäminenDomain-Adaptive Vision TransformerHeikosti ohjattu BERT-pohjainen luokittelu

Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →

ScholarGate — Domain-adaptive BERT-based Classification (Domain-Adaptive Pre-training with BERT for Text Classification). Haettu 2026-06-15 osoitteesta https://scholargate.app/fi/deep-learning/domain-adaptive-bert-based-classification · Aineisto: https://doi.org/10.5281/zenodo.20539026