LoRA và PEFT
LoRA (Low-Rank Adaptation), được giới thiệu bởi Hu và cộng sự vào năm 2022, cùng với họ phương pháp tinh chỉnh hiệu quả tham số (PEFT) rộng lớn hơn, điều chỉnh các mô hình ngôn ngữ lớn được huấn luyện trước cho các tác vụ mới bằng cách chỉ huấn luyện một số lượng nhỏ tham số bổ sung thay vì mọi trọng số trong mô hình. Điều này làm cho việc tinh chỉnh khả thi với ít bộ nhớ GPU và tài nguyên tính toán hơn nhiều, đồng thời giữ nguyên mô hình gốc ở mức độ lớn.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
Nguồn tài liệu
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/vi/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generative Adversarial NetworkHọc sâu↔ compare
- Rừng ngẫu nhiênHọc máy↔ compare
- Bộ tự mã hóa biến phânHọc sâu↔ compare
- Transformer Thị giácHọc sâu↔ compare
- XGBoostHọc máy↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →