QLoRA
QLoRA је ефикасан метод финог подешавања који су увели Dettmers et al. 2023. године, а који омогућава фино подешавање великих језичких модела коришћењем квантизације и адаптације ниског ранга. Комбиновањем 4-битне квантизације са LoRA, QLoRA смањује меморијске захтеве за 75%, омогућавајући фино подешавање модела са 65 милијарди параметара на појединачним ГПУ јединицама.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/sr/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direktna optimizacija preferencijaDuboko učenje↔ compare
- Latentni difuzioni modeliDuboko učenje↔ compare
- Mamba (model prostora stanja)Duboko učenje↔ compare
- Masked AutoencodersDuboko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →