LoRA y PEFT

LoRA (Adaptación de Rango Bajo), introducida por Hu et al. en 2022, y la familia más amplia de métodos de ajuste fino eficiente en parámetros (PEFT) adaptan grandes modelos de lenguaje preentrenados a nuevas tareas entrenando solo un pequeño número de parámetros adicionales en lugar de cada peso del modelo. Esto hace que el ajuste fino sea posible con mucha menos memoria de GPU y cómputo, dejando el modelo original en gran medida intacto.