QLoRA
QLoRA ialah kaedah penalaan halus yang cekap yang diperkenalkan oleh Dettmers et al. pada tahun 2023 yang membolehkan penalaan halus model bahasa besar menggunakan kuantifikasi dan adaptasi julat rendah. Dengan menggabungkan kuantifikasi 4-bit dengan LoRA, QLoRA mengurangkan keperluan memori sebanyak 75%, membolehkan penalaan halus model berparameter 65B pada GPU tunggal.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
Sumber
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Cara memetik halaman ini
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/ms/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direct Preference OptimizationPembelajaran Mendalam↔ compare
- Model Penyerakan TerpendamPembelajaran Mendalam↔ compare
- Mamba (Model Ruang Keadaan)Pembelajaran Mendalam↔ compare
- Autoenkoder BertopengPembelajaran Mendalam↔ compare
Dirujuk oleh
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →