Samonadzirana klasifikacija temeljena na RoBERTa modelu
Samonadzirana klasifikacija temeljena na RoBERTa modelu kombinira moćne jezične reprezentacije RoBERTa transformera — naučene iz velikih neoznačenih korpusa putem modeliranja maskiranog jezika — sa samonadziranim ciljevima za provođenje klasifikacije teksta s malo ili nimalo ljudski označenih podataka. Pristup koristi obilje neoznačenog teksta za generiranje vlastitog signala za treniranje prije finog podešavanja na nizvodnom klasifikacijskom zadatku.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Izvori
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/hr/deep-learning/self-supervised-roberta-based-classification
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →