QLoRA
QLoRA este o metodă eficientă de fine-tuning introdusă de Dettmers et al. în 2023, care permite fine-tuning-ul modelelor lingvistice mari utilizând cuantificare și adaptare de rang redus. Prin combinarea cuantificării pe 4 biți cu LoRA, QLoRA reduce cerințele de memorie cu 75%, permițând fine-tuning-ul modelelor cu 65 de miliarde de parametri pe GPU-uri individuale.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
Surse
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Cum se citează această pagină
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/ro/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimizarea Directă a PreferințelorÎnvățare profundă↔ compare
- Modele de difuzie latenteÎnvățare profundă↔ compare
- Mamba (Model de Spațiu de Stări)Învățare profundă↔ compare
- Autoencodere mascateÎnvățare profundă↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →