QLoRA
QLoRA ir efektīva smalkas uzstādīšanas (fine-tuning) metode, ko 2023. gadā ieviesa Dettmers et al. Tā ļauj smalki uzstādīt lielus valodu modeļus, izmantojot kvantizāciju un zema ranga adaptāciju. Apvienojot 4-bitu kvantizāciju ar LoRA, QLoRA samazina atmiņas prasības par 75%, ļaujot smalki uzstādīt 65 miljardu parametru modeļus uz vienas GPU.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
Avoti
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Kā citēt šo lapu
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/lv/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimizācija ar tiešām izteiktām vēlmēmDziļā mācīšanās↔ compare
- Latent Diffusion ModelsDziļā mācīšanās↔ compare
- Mamba (Valsts telpas modelis)Dziļā mācīšanās↔ compare
- Apslēptie autoenkoderiDziļā mācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →