QLoRA
QLoRA হলো ২০২৩ সালে Dettmers প্রমুখ কর্তৃক প্রবর্তিত একটি কার্যকর ফাইন-টিউনিং পদ্ধতি যা কোয়ান্টাইজেশন (quantization) এবং লো-র্যাঙ্ক অ্যাডাপ্টেশন (low-rank adaptation) ব্যবহার করে বৃহৎ ভাষা মডেলগুলির ফাইন-টিউনিং সক্ষম করে। ৪-বিট কোয়ান্টাইজেশনকে LoRA-এর সাথে সংযুক্ত করে, QLoRA মেমরি প্রয়োজনীয়তা ৭৫% হ্রাস করে, যা একক জিপিইউতে (GPU) ৬৫ বিলিয়ন প্যারামিটারযুক্ত মডেলগুলির ফাইন-টিউনিং সম্ভব করে তোলে।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
Method map
The neighbourhood of related methods — select a node to explore.
উৎস
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/bn/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- প্রত্যক্ষ পছন্দ অপ্টিমাইজেশনগভীর শিখন↔ compare
- Latent Diffusion Modelsগভীর শিখন↔ compare
- মাম্বা (স্টেট স্পেস মডেল)গভীর শিখন↔ compare
- মাস্কড অটোএনকোডারগভীর শিখন↔ compare
যেখানে উদ্ধৃত
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →