Efficient Finetuning of Quantized LLMs

Die Feinabstimmung großer Sprachmodelle erfordert die Speicherung von Optimierungszuständen und Gradienten, die erheblichen Speicherplatz beanspruchen. QLoRA adressiert dies durch zwei sich ergänzende Techniken: (1) Die Quantisierung reduziert die Gewichte des Basismodells auf 4-Bit-Präzision, was den Speicherbedarf um 75 % senkt. (2) LoRA (Low-Rank Adaptation) fügt eingefrorenen Basisgewichten kleine lernbare Matrizen mit niedrigem Rang hinzu, wodurch die trainierbaren Parameter auf 1-2 % des Modells reduziert werden. Die Kombination ermöglicht die Feinabstimmung massiver Modelle auf Consumer-Hardware. Ein cleverer Trick nutzt die NF4-Quantisierung (normalized float), die trotz extremer Komprimierung den Genauigkeitsverlust minimiert.