Efficient Finetuning of Quantized LLMs

Η λεπτομερής ρύθμιση μεγάλων γλωσσικών μοντέλων απαιτεί την αποθήκευση καταστάσεων βελτιστοποιητή (optimizer states) και κλίσεων (gradients), οι οποίες καταναλώνουν σημαντική μνήμη. Το QLoRA αντιμετωπίζει αυτό μέσω δύο συμπληρωματικών τεχνικών: (1) Η κβαντοποίηση μειώνει τα βάρη του βασικού μοντέλου σε ακρίβεια 4-bit, μειώνοντας τη μνήμη κατά 75%. (2) Η LoRA (Low-Rank Adaptation) προσθέτει μικρές, εκπαιδεύσιμες μήτρες χαμηλής τάξης σε παγωμένα βασικά βάρη, μειώνοντας τις εκπαιδεύσιμες παραμέτρους στο 1-2% του μοντέλου. Ο συνδυασμός επιτρέπει τη λεπτομερή ρύθμιση τεράστιων μοντέλων σε καταναλωτικό υλικό. Ένα έξυπνο τέχνασμα χρησιμοποιεί κβαντοποίηση NF4 (normalized float) που ελαχιστοποιεί την απώλεια ακρίβειας παρά την ακραία συμπίεση.