Transformer bán giám sát
Học bán giám sát với các kiến trúc Transformer tận dụng lượng lớn dữ liệu không nhãn cùng với một tập nhỏ dữ liệu có nhãn để huấn luyện các mô hình chuỗi mạnh mẽ. Mẫu hình chủ đạo — được minh họa bởi BERT — trước tiên tiền huấn luyện Transformer trên dữ liệu không nhãn bằng các mục tiêu tự giám sát như dự đoán token bị che, sau đó tinh chỉnh nó trên tác vụ có nhãn. Cách tiếp cận hai giai đoạn này giảm đáng kể lượng dữ liệu có nhãn cần thiết để đạt được hiệu suất mạnh mẽ.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Nguồn tài liệu
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/vi/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Phân loại dựa trên BERTHọc sâu↔ compare
- Transformer tinh chỉnhHọc sâu↔ compare
- Phân loại dựa trên RoBERTaHọc sâu↔ compare
- Transformer tự giám sátHọc sâu↔ compare
- Mạng nơ-ron tích chập bán giám sátHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →