Hồ sơ bằng chứng phương pháp

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Hồ sơ nguồn

Các trích dẫn được sao chép nguyên văn từ hồ sơ nguồn của phương pháp. Không có xác minh cấp độ yêu cầu nào được suy ra từ chúng.

Efficient Finetuning of Quantized LLMs

Hồ sơ phương pháp phân loại · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Mở phương pháp đầy đủ

Các yêu cầu được tuyển chọn

Các yêu cầu được lưu trữ trong sổ cái bằng chứng, mỗi yêu cầu có đánh giá riêng.

Chưa có yêu cầu được tuyển chọn

Chế độ xem này không tạo ra đánh giá yêu cầu khi sổ cái không có.

Các phương pháp liên quan

Được tạo từ biểu đồ phương pháp và hiển thị dưới dạng các mối quan hệ được đề xuất bởi máy — không có yêu cầu bằng chứng nào được suy ra.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.