Machine learningDeep learning / NLP / CV
自己教師ありRoBERTaベース分類
自己教師ありRoBERTaベース分類は、RoBERTaトランスフォーマーの強力な言語表現（マスク言語モデリングによる大規模非ラベルコーパスからの学習）と自己教師あり目的を組み合わせ、人間によるラベル付けデータがほとんどまたは全くない状態でテキスト分類を実行します。このアプローチは、下流の分類タスクでのファインチューニングの前に、豊富な非ラベルテキストを活用して独自のトレーニング信号を生成します。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
出典
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
このページの引用方法
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/ja/deep-learning/self-supervised-roberta-based-classification