Machine learningDeep learning / NLP / CV
Samonadzorovani RoBERTa-bazirani klasifikator
Samonadzorovani RoBERTa-bazirani klasifikator kombinuje moćne jezičke reprezentacije RoBERTa transformera — naučene iz velikih neoznačenih korpusa putem modeliranja maskiranog jezika — sa samonadzorovanom obukom za klasifikaciju teksta sa malo ili bez podataka označenih od strane čoveka. Pristup koristi obilje neoznačenog teksta za generisanje sopstvenog signala za obuku pre finog podešavanja na ciljanom zadatku klasifikacije.
Pročitajte celu metodu
Samo za članove
Prijavite sePrijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Izvori
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/sr/deep-learning/self-supervised-roberta-based-classification
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →