LoRA 및 PEFT

2022년 Hu 등(Hu et al., 2022)이 소개한 LoRA(Low-Rank Adaptation)와 더 넓은 범위의 매개변수 효율적 미세 조정(PEFT) 방법들은 모델의 모든 가중치를 학습하는 대신 소수의 추가 매개변수만을 학습하여 대규모 사전 학습 언어 모델을 새로운 작업에 적응시킵니다. 이는 미세 조정을 훨씬 적은 GPU 메모리와 컴퓨팅으로 가능하게 하며, 동시에 원본 모델은 거의 변경되지 않은 상태로 유지합니다.