Phân loại dựa trên RoBERTa tự giám sát
Phân loại dựa trên RoBERTa tự giám sát kết hợp các biểu diễn ngôn ngữ mạnh mẽ của mô hình transformer RoBERTa — được học từ các kho ngữ liệu lớn không gán nhãn thông qua mô hình hóa ngôn ngữ che giấu — với các mục tiêu tự giám sát để thực hiện phân loại văn bản với ít hoặc không có dữ liệu được gán nhãn thủ công. Phương pháp này tận dụng văn bản không gán nhãn dồi dào để tạo tín hiệu huấn luyện của riêng nó trước khi tinh chỉnh cho tác vụ phân loại hạ nguồn.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Nguồn tài liệu
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/vi/deep-learning/self-supervised-roberta-based-classification
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →