QLoRA
QLoRA és un mètode eficient de fine-tuning introduït per Dettmers et al. el 2023 que permet el fine-tuning de grans models de llenguatge utilitzant quantització i adaptació de rang baix (low-rank adaptation). Combinant la quantització de 4 bits amb LoRA, QLoRA redueix els requisits de memòria en un 75%, permetent el fine-tuning de models de 65B paràmetres en GPUs individuals.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/ca/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimització Directa de PreferènciesAprenentatge profund↔ compare
- Models de difusió latentsAprenentatge profund↔ compare
- Mamba (Model d'Espai d'Estats)Aprenentatge profund↔ compare
- Autoencoders emmascaratsAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →