QLoRA
QLoRA er en effektiv finjusteringsmetode introduceret af Dettmers et al. i 2023, som muliggør finjustering af store sprogmodeller ved hjælp af kvantisering og low-rank adaptation. Ved at kombinere 4-bit kvantisering med LoRA reducerer QLoRA hukommelseskrav med 75%, hvilket muliggør finjustering af modeller med 65 milliarder parametre på enkelte GPU'er.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/da/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direkte PræferenceoptimeringDyb læring↔ compare
- Latente diffusionsmodellerDyb læring↔ compare
- Mamba (State Space Model)Dyb læring↔ compare
- Maskerede AutoencodersDyb læring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →