Klasifikácia založená na samoučiacom sa RoBERTa
Klasifikácia založená na samoučiacom sa RoBERTa kombinuje silné jazykové reprezentácie transformátora RoBERTa — naučené z rozsiahlych neoznačených korpusov prostredníctvom maskovaného jazykového modelovania — so samoučiacimi sa cieľmi na vykonávanie klasifikácie textu s malým množstvom alebo bez ľudsky označených údajov. Tento prístup využíva dostupné neoznačené texty na generovanie vlastného tréningového signálu pred doladením na následnú klasifikačnú úlohu.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Zdroje
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Ako citovať túto stránku
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/sk/deep-learning/self-supervised-roberta-based-classification
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →