QLoRA
A QLoRA egy hatékony finomhangolási módszer, amelyet Dettmers és munkatársai vezettek be 2023-ban. Ez lehetővé teszi nagy nyelvi modellek finomhangolását kvantálás és alacsonyrangú adaptáció (low-rank adaptation) segítségével. A 4 bites kvantálás és a LoRA kombinálásával a QLoRA 75%-kal csökkenti a memóriahasználatot, lehetővé téve 65 milliárd paraméteres modellek finomhangolását egyetlen GPU-n.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
Források
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/hu/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Közvetlen preferenciaoptimalizálásMélytanulás↔ compare
- Latens diffúziós modellekMélytanulás↔ compare
- Mamba (Állapot-tér modell)Mélytanulás↔ compare
- Maszkolt AutoenkóderekMélytanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →