Klasyfikacja oparta na samo-nadzorowanym modelu RoBERTa
Klasyfikacja oparta na samo-nadzorowanym modelu RoBERTa łączy potężne reprezentacje językowe transformera RoBERTa — nauczone na dużych nieetykietowanych korpusach za pomocą modelowania języka maskowanego — z celami samo-nadzorowanymi, aby wykonywać klasyfikację tekstu przy niewielkiej ilości danych etykietowanych przez człowieka lub przy ich braku. Podejście to wykorzystuje obfitość nieetykietowanego tekstu do generowania własnego sygnału treningowego przed dostrajaniem do zadania klasyfikacji niższego poziomu.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Źródła
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/pl/deep-learning/self-supervised-roberta-based-classification
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →