Klasifikacija zasnovana na RoBERTa modelu
Klasifikacija zasnovana na RoBERTa modelu primenjuje pred-obučeni transformer RoBERTa — obučen robusnije od BERT-a dinamičkim maskiranjem i većim grupama — na zadatke kategorizacije teksta dodavanjem lake klasifikacione glave na vrhu reprezentacije [CLS] tokena i finim podešavanjem celog modela na označenim primerima. Dosledno dostiže ili nadmašuje BERT na standardnim NLP merilima.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+24 more
Izvori
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). RoBERTa-based Text Classification (Robustly Optimized BERT Pretraining Approach). ScholarGate. https://scholargate.app/sr/deep-learning/roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-based ClassificationDuboko učenje↔ compare
- Klasifikacija zasnovana na finotreniranom RoBERTa modeluDuboko učenje↔ compare
- Gated Recurrent Unit (GRU)Duboko učenje↔ compare
- Long Short-Term Memory (LSTM)Duboko učenje↔ compare
- Ugrađivanje rečenicaDuboko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →