QLoRA
Finjustering av stora språkmodeller kräver lagring av optimeringstillstånd och gradienter, vilka förbrukar betydande minne. QLoRA hanterar detta genom två kompletterande tekniker: (1) Kvantisering reducerar basmodellens vikter till 4-bitars precision, vilket minskar minnet med 75%. (2) LoRA (Low-Rank Adaptation) lägger till små, inlärningsbara lågranksmatriser till frysta basvikter, vilket reducerar träningsbara parametrar till 1–2% av modellen. Kombinationen möjliggör finjustering av massiva modeller på konsumenthårdvara. Ett smart knep använder NF4-kvantisering (normaliserad flyttal) som minimerar noggrannhetsförlusten trots extrem komprimering.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Så citerar du den här sidan
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/sv/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direkt preferensoptimeringDjupinlärning↔ compare
- Latent Diffusion ModelsDjupinlärning↔ compare
- Mamba (tillståndsrumsmodell)Djupinlärning↔ compare
- Maskerade autoenkodrarDjupinlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →