QLoRA
QLoRA je efektívna metóda doladenia (fine-tuning) predstavená Dettmersom a kol. v roku 2023, ktorá umožňuje doladiť rozsiahle jazykové modely pomocou kvantizácie a nízkorankovej adaptácie. Kombináciou 4-bitovej kvantizácie s LoRA znižuje QLoRA pamäťové nároky o 75 %, čo umožňuje doladiť modely s 65 miliardami parametrov na jednom GPU.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Ako citovať túto stránku
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/sk/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Priama optimalizácia preferenciíHlboké učenie↔ compare
- Latentné difúzne modelyHlboké učenie↔ compare
- Mamba (model stavového priestoru)Hlboké učenie↔ compare
- Maskované autoenkodéryHlboké učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →