LoRA e PEFT

LoRA (Low-Rank Adaptation), introdotto da Hu et al. nel 2022, e la famiglia più ampia di metodi di fine-tuning efficiente in termini di parametri (PEFT) adattano grandi modelli linguistici preaddestrati a nuovi compiti addestrando solo un piccolo numero di parametri aggiuntivi invece di ogni peso nel modello. Ciò rende il fine-tuning possibile con molta meno memoria GPU e calcolo, lasciando il modello originale in gran parte intatto.