Transformer tinh chỉnh
Việc tinh chỉnh một mô hình Transformer sẽ điều chỉnh một mô hình lớn đã được huấn luyện trước — như BERT, GPT, hoặc ViT — cho một tác vụ cụ thể bằng cách tiếp tục huấn luyện dựa trên gradient trên một tập dữ liệu đích đã được gán nhãn. Mô hình hai giai đoạn này (huấn luyện trước rồi tinh chỉnh) liên tục đạt được kết quả tiên tiến trên các tác vụ xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính với ít dữ liệu đặc thù cho tác vụ hơn nhiều so với việc huấn luyện từ đầu.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Bản đồ phương pháp
Lân cận của các phương pháp liên quan — chọn một nút để khám phá.
+4 nữa
Nguồn tài liệu
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Fine-Tuned Transformer (Task-Specific Adaptation of Pre-Trained Transformer Models). ScholarGate. https://scholargate.app/vi/deep-learning/fine-tuned-transformer
Phương pháp nào?
Đặt phương pháp này bên cạnh những phương pháp gần gũi nhất với nó và đọc chúng song song — thư viện bày sách lên bàn; lựa chọn là của bạn.
- Phân loại dựa trên BERTHọc sâu↔ so sánh
- Phân loại dựa trên BERT tinh chỉnhHọc sâu↔ so sánh
- Mạng nơ-ron hồi quy tinh chỉnh (Fine-Tuned Recurrent Neural Network)Học sâu↔ so sánh
- Phân loại dựa trên RoBERTaHọc sâu↔ so sánh
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →