Klasifikacija temeljena na RoBERTa-i
Klasifikacija temeljena na RoBERTa-i primjenjuje predobučeni transformator RoBERTa — obučen robusnije od BERT-a s dinamičkim maskiranjem i većim serijama — na zadatke kategorizacije teksta dodavanjem lagane klasifikacijske glave na vrh reprezentacije [CLS] tokena i finim ugađanjem cijelog modela na označenim primjerima. Dosljedno postiže ili nadmašuje BERT na standardnim NLP mjerilima.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+24 more
Izvori
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). RoBERTa-based Text Classification (Robustly Optimized BERT Pretraining Approach). ScholarGate. https://scholargate.app/hr/deep-learning/roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-tem klasifikacijaDuboko učenje↔ compare
- Klasifikacija utemeljena na fino ugađenom RoBERTa-uDuboko učenje↔ compare
- Gated Recurrent Unit (GRU)Duboko učenje↔ compare
- Dugo kratkoročno pamćenje (LSTM)Duboko učenje↔ compare
- Ugrađivanje rečenicaDuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →