Domensko-prilagođena klasifikacija utemeljena na modelu RoBERTa
Domensko-prilagođena klasifikacija utemeljena na modelu RoBERTa proširuje transformer RoBERTa tako što najprije nastavlja predobuku maskiranog jezičnog modela na korpusu specifičnom za domenu, prije finog podešavanja za klasifikacijski zadatak. Ova dvostupanjska prilagodba premošćuje jaz između općih podataka prikupljenih s weba i specijaliziranih područja poput biomedicinskog, pravnog ili znanstvenog teksta, dosljedno nadmašujući standardno finopodešavanje modela RoBERTa kada su dostupni ciljani tekstovi domene.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/hr/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-tem klasifikacijaDuboko učenje↔ compare
- Domenski prilagođena klasifikacija utemeljena na BERT-uDuboko učenje↔ compare
- Klasifikacija utemeljena na fino ugađenom RoBERTa-uDuboko učenje↔ compare
- Višejezična klasifikacija utemeljena na modelu RoBERTaDuboko učenje↔ compare
- Klasifikacija temeljena na RoBERTa-iDuboko učenje↔ compare
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →