LoRA e PEFT

LoRA (Low-Rank Adaptation), introduzido por Hu et al. em 2022, e a família mais ampla de métodos de ajuste fino eficiente em parâmetros (PEFT) adaptam grandes modelos de linguagem pré-treinados para novas tarefas treinando apenas um pequeno número de parâmetros extras em vez de cada peso no modelo. Isso torna o ajuste fino possível com muito menos memória de GPU e computação, deixando o modelo original amplamente intocado.