Machine learningDeep Learning, Language Models, Parameter Efficient Fine-Tuning
क्यूलोरा
क्यूलोरा (QLoRA) डेमरर्स एट अल. द्वारा 2023 में प्रस्तुत एक कुशल फाइन-ट्यूनिंग विधि है जो क्वांटाइजेशन और लो-रैंक एडैप्टेशन का उपयोग करके बड़े भाषा मॉडल को फाइन-ट्यून करने में सक्षम बनाती है। 4-बिट क्वांटाइजेशन को लोरा (LoRA) के साथ जोड़कर, क्यूलोरा मेमोरी आवश्यकताओं को 75% तक कम कर देता है, जिससे सिंगल जीपीयू पर 65B-पैरामीटर मॉडल को फाइन-ट्यून करना संभव हो जाता है।
पूरी विधि पढ़ें
केवल सदस्यों के लिए
साइन इन करेंयह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
Method map
The neighbourhood of related methods — select a node to explore.
स्रोत
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/hi/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- प्रत्यक्ष वरीयता अनुकूलनगहन अधिगम↔ compare
- प्रसुप्त विसरण मॉडलगहन अधिगम↔ compare
- माम्बा (स्टेट स्पेस मॉडल)गहन अधिगम↔ compare
- मास्क्ड ऑटोएन्कोडर्सगहन अधिगम↔ compare