QLoRA
QLoRA je učinkovita metoda finog ugađanja koju su Dettmers et al. predstavili 2023. godine, a koja omogućuje finu prilagodbu velikih jezičnih modela korištenjem kvantizacije i adaptacije niske ranga. Kombinacijom 4-bitne kvantizacije s LoRA-om, QLoRA smanjuje memorijske zahtjeve za 75%, omogućujući finu prilagodbu modela s 65 milijardi parametara na jednoj GPU jedinici.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/hr/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Izravno optimiziranje preferencijaDuboko učenje↔ compare
- Latent Diffusion ModelsDuboko učenje↔ compare
- Mamba (model prostora stanja)Duboko učenje↔ compare
- Masked AutoencodersDuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →