LoRA dan PEFT

LoRA (Low-Rank Adaptation), diperkenalkan oleh Hu et al. pada tahun 2022, dan keluarga metode penyesuaian halus yang efisien parameter (PEFT) yang lebih luas mengadaptasi model bahasa pra-terlatih besar ke tugas-tugas baru dengan melatih hanya sejumlah kecil parameter tambahan alih-alih setiap bobot dalam model. Hal ini memungkinkan penyesuaian halus dengan memori GPU dan komputasi yang jauh lebih sedikit sambil membiarkan model asli sebagian besar tidak tersentuh.