QLoRA
QLoRA là một phương pháp tinh chỉnh hiệu quả được giới thiệu bởi Dettmers và cộng sự vào năm 2023, cho phép tinh chỉnh các mô hình ngôn ngữ lớn bằng cách sử dụng lượng tử hóa và điều chỉnh theo hạng thấp (low-rank adaptation). Bằng cách kết hợp lượng tử hóa 4-bit với LoRA, QLoRA giảm yêu cầu bộ nhớ xuống 75%, cho phép tinh chỉnh các mô hình có 65 tỷ tham số trên một GPU duy nhất.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
Nguồn tài liệu
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/vi/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direct Preference OptimizationHọc sâu↔ compare
- Mô hình Khuếch tán Tiềm ẩnHọc sâu↔ compare
- Mamba (Mô hình Không gian Trạng thái)Học sâu↔ compare
- Mô hình Tự mã hóa Che giấuHọc sâu↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →