QLoRA
QLoRA is een efficiënte fine-tuningmethode, geïntroduceerd door Dettmers et al. in 2023, die het mogelijk maakt om grote taalmodellen te fine-tunen met behulp van kwantisatie en low-rank adaptatie. Door 4-bit kwantisatie te combineren met LoRA, reduceert QLoRA de geheugenvereisten met 75%, waardoor het fine-tunen van modellen met 65 miljard parameters op enkele GPU's mogelijk wordt.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
Bronnen
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/nl/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direct Preference OptimizationDeep learning↔ compare
- Latente DiffusiemodellenDeep learning↔ compare
- Mamba (State Space Model)Deep learning↔ compare
- Masked AutoencodersDeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →