Machine learningDeep Learning, Language Models, Parameter Efficient Fine-Tuning
QLoRA
QLoRA היא שיטת fine-tuning יעילה שהוצגה על ידי Dettmers et al. בשנת 2023, המאפשרת fine-tuning של מודלי שפה גדולים (LLMs) תוך שימוש בקוונטיזציה (quantization) והתאמת דרגה נמוכה (low-rank adaptation). על ידי שילוב של קוונטיזציה של 4 סיביות עם LoRA, QLoRA מפחיתה את דרישות הזיכרון ב-75%, ומאפשרת fine-tuning של מודלים עם 65 מיליארד פרמטרים על גבי GPU יחיד.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/he/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- אופטימיזציית העדפה ישירהלמידה עמוקה↔ compare
- מודלי דיפוזיה סמויים (Latent Diffusion Models, LDMs)למידה עמוקה↔ compare
- Mamba (מודל מרחב מצב)למידה עמוקה↔ compare
- מקודדים אוטומטיים ממוסכיםלמידה עמוקה↔ compare