Machine learningDeep learning / NLP / CV

基于 RoBERTa 的自监督分类

基于 RoBERTa 的自监督分类结合了 RoBERTa 变换器强大的语言表征能力——通过掩码语言模型在大型无标签语料库上学习得到——以及自监督目标，从而能够以极少或无需人工标注数据的情况执行文本分类。该方法利用丰富的无标签文本在下游分类任务上进行微调之前生成自身的训练信号。

在 MethodMind 中打开即将推出视频即将推出Download slides

阅读完整方法

仅限会员

使用免费账户登录即可阅读本节。

来源

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗

如何引用本页

ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/zh/deep-learning/self-supervised-roberta-based-classification

发现本页有问题？报告或提出修改建议 →