Selbstüberwachte RoBERTa-basierte Klassifikation
Selbstüberwachte RoBERTa-basierte Klassifikation kombiniert die leistungsstarken Sprachrepräsentationen des RoBERTa-Transformers – gelernt aus großen unbeschrifteten Korpora mittels Masked-Language-Modeling – mit selbstüberwachten Zielsetzungen, um Textklassifikation mit wenig oder gar keinen menschlich beschrifteten Daten durchzuführen. Der Ansatz nutzt reichlich vorhandenen unbeschrifteten Text, um sein eigenes Trainingssignal zu generieren, bevor er für eine nachgelagerte Klassifikationsaufgabe feinabgestimmt wird.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Quellen
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
So zitieren Sie diese Seite
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/de/deep-learning/self-supervised-roberta-based-classification
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →