Direct Preference Optimization
Direct Preference Optimization (DPO) là một phương pháp huấn luyện được Rafailov và cộng sự giới thiệu vào năm 2023, giúp điều chỉnh các mô hình ngôn ngữ theo sở thích của con người mà không yêu cầu mô hình phần thưởng tường minh. Bằng cách tối ưu hóa trực tiếp các cặp sở thích (phản hồi tốt hơn so với phản hồi tệ hơn), DPO đơn giản hóa quy trình huấn luyện so với học tăng cường từ phản hồi của con người (RLHF).
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
Nguồn tài liệu
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/vi/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Mô hình Khuếch tán Tiềm ẩnHọc sâu↔ compare
- Mamba (Mô hình Không gian Trạng thái)Học sâu↔ compare
- Mô hình Tự mã hóa Che giấuHọc sâu↔ compare
- QLoRAHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →