Phân loại dựa trên RoBERTa thích ứng miền
Phân loại dựa trên RoBERTa thích ứng miền mở rộng mô hình transformer RoBERTa bằng cách trước tiên tiếp tục tiền huấn luyện mô hình ngôn ngữ bị che (masked-language-model) trên một tập dữ liệu chuyên biệt trước khi tinh chỉnh cho tác vụ phân loại. Sự thích ứng hai giai đoạn này thu hẹp khoảng cách giữa dữ liệu huấn luyện thu thập từ web nói chung và các lĩnh vực chuyên biệt như văn bản y sinh, pháp lý hoặc khoa học, liên tục vượt trội hơn so với việc tinh chỉnh RoBERTa tiêu chuẩn khi có văn bản thuộc miền đích.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
Nguồn tài liệu
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/vi/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Phân loại dựa trên BERTHọc sâu↔ compare
- Phân loại dựa trên BERT thích ứng miềnHọc sâu↔ compare
- Phân loại dựa trên RoBERTa tinh chỉnhHọc sâu↔ compare
- Phân loại dựa trên RoBERTa đa ngôn ngữHọc sâu↔ compare
- Phân loại dựa trên RoBERTaHọc sâu↔ compare
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →