LoRA и PEFT

LoRA (Low-Rank Adaptation), представленный Hu et al. в 2022 году, и более широкое семейство методов параметрически эффективной дообучки (PEFT) адаптируют большие предобученные языковые модели к новым задачам, обучая лишь небольшое количество дополнительных параметров вместо каждого веса в модели. Это делает дообучку возможной при значительно меньших затратах видеопамяти и вычислительных ресурсов, оставляя исходную модель в значительной степени неизменной.