Classification auto-supervisée basée sur RoBERTa
La classification auto-supervisée basée sur RoBERTa combine les puissantes représentations linguistiques du transformeur RoBERTa — apprises à partir de grands corpus non étiquetés via la modélisation de langage masqué — avec des objectifs auto-supervisés pour effectuer la classification de texte avec peu ou pas de données étiquetées par des humains. L'approche exploite l'abondance de texte non étiqueté pour générer son propre signal d'entraînement avant le réglage fin sur une tâche de classification en aval.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Sources
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Comment citer cette page
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/fr/deep-learning/self-supervised-roberta-based-classification
Une erreur sur cette page ? Signalez-la ou proposez une correction →