Domeeniadaptiivne BERT-põhine klassifitseerimine
Domeeniadaptiivne BERT-põhine klassifitseerimine laiendab standardset peenhäälestamise töövoogu, jätkates esmalt BERT-i maskeeritud keelemudeli eelkoolitust suurel hulgal domeenisisesel märgendamata tekstil, seejärel peenhäälestades kohandatud mudeli märgendatud näidete abil sihtklassifitseerimisülesande jaoks. See kaheetapiline lähenemine vähendab sõnavara ja jaotuslikku erinevust BERT-i üldise eelkoolituse korpuse ja spetsialiseeritud domeenide (nt biomeditsiin, õigus, rahandus või sotsiaalmeedia tekst) vahel.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Allikad
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/et/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-põhine klassifitseerimineSüvaõpe↔ compare
- Domain-Adaptive TransformerSüvaõpe↔ compare
- BERT-põhine peenhäälestatud klassifikaatorSüvaõpe↔ compare
- RoBERTa-põhine klassifitseerimineSüvaõpe↔ compare
- Sentence EmbeddingsSüvaõpe↔ compare
- Ülekandeõpe BERT-põhise klassifitseerimisegaSüvaõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →