QLoRA
QLoRA je efektivní metoda doladění (fine-tuning) představená Dettmersem a kol. v roce 2023, která umožňuje doladění velkých jazykových modelů pomocí kvantizace a adaptace s nízkou hodností (low-rank adaptation). Kombinací 4bitové kvantizace s LoRA snižuje QLoRA paměťové nároky o 75 %, což umožňuje doladění modelů s 65 miliardami parametrů na jedné GPU.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Jak citovat tuto stránku
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/cs/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Přímá optimalizace preferencíHluboké učení↔ compare
- Latent Diffusion ModelsHluboké učení↔ compare
- Mamba (model stavového prostoru)Hluboké učení↔ compare
- Maskované autoenkodéryHluboké učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →