Domain-adaptive RoBERTa-pohjainen luokittelu
Domain-adaptive RoBERTa-pohjainen luokittelu laajentaa RoBERTa-muuntajaa jatkamalla ensin sen maskatun kielimallin esikoulutusta toimialuekohtaisella aineistolla ennen hienosäätöä luokittelutehtävää varten. Tämä kaksivaiheinen mukauttaminen kaventaa kuilua yleisen verkosta kerätyn harjoitusdatan ja erikoisalojen, kuten biomedikaalisen, oikeudellisen tai tieteellisen tekstin, välillä, ja ylittää johdonmukaisesti standardin RoBERTa-hienosäädön, kun kohdetoimialueen tekstiä on saatavilla.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
Lähteet
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/fi/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-pohjainen luokitteluSyväoppiminen↔ compare
- Aluekohtainen BERT-pohjainen luokitteluSyväoppiminen↔ compare
- Hienosäädetty RoBERTa-pohjainen luokitteluSyväoppiminen↔ compare
- Monikielinen RoBERTa-pohjainen luokitteluSyväoppiminen↔ compare
- RoBERTa-pohjainen luokitteluSyväoppiminen↔ compare
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →