Efficient Finetuning of Quantized LLMs

تنظیم دقیق مدل‌های زبان بزرگ نیازمند ذخیره‌سازی وضعیت بهینه‌ساز (optimizer states) و گرادیان‌ها است که حافظه قابل توجهی را اشغال می‌کنند. QLoRA این مشکل را از طریق دو تکنیک مکمل حل می‌کند: (۱) کوانتیزاسیون، وزن‌های پایه مدل را به دقت ۴ بیتی کاهش می‌دهد و حافظه را ۷۵٪ کاهش می‌دهد. (۲) LoRA (Low-Rank Adaptation)، ماتریس‌های کوچک قابل یادگیری با رتبه پایین را به وزن‌های پایه منجمد شده اضافه می‌کند و پارامترهای قابل آموزش را به ۱-۲٪ مدل کاهش می‌دهد. ترکیب این دو امکان تنظیم دقیق مدل‌های عظیم را بر روی سخت‌افزارهای مصرفی فراهم می‌سازد. یک ترفند هوشمندانه از کوانتیزاسیون NF4 (نرمالایز شده اعشاری) استفاده می‌کند که علی‌رغم فشرده‌سازی شدید، افت دقت را به حداقل می‌رساند.