LoRA og PEFT

LoRA (Low-Rank Adaptation), introdusert av Hu et al. i 2022, og den bredere familien av parameter-effektive finjusteringsmetoder (PEFT) tilpasser store forhåndstrente språkmodeller til nye oppgaver ved å trene bare et lite antall ekstra parametere i stedet for hver vekt i modellen. Dette gjør finjustering mulig med langt mindre GPU-minne og beregningskraft, samtidig som den opprinnelige modellen i stor grad forblir uberørt.