Catatan bukti metode

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Catatan sumber

Kutipan disalin apa adanya dari catatan sumber metode. Tidak ada verifikasi tingkat klaim yang disimpulkan darinya.

Efficient Finetuning of Quantized LLMs

Catatan metode taksonomi · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Buka metode lengkap

Klaim yang dikurasi

Klaim tersimpan dalam buku besar bukti, masing-masing dengan penilaiannya sendiri.

Belum ada klaim yang dikurasi

Tampilan ini tidak menciptakan penilaian klaim ketika buku besar tidak memilikinya.

Metode terkait

Dihasilkan dari grafik metode dan ditampilkan sebagai relasi yang disarankan mesin — tidak ada klaim bukti yang disimpulkan.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.