LoRA dan PEFT
LoRA (Low-Rank Adaptation), yang diperkenalkan oleh Hu et al. pada tahun 2022, dan keluarga kaedah penalaan halus cekap parameter (PEFT) yang lebih luas, menyesuaikan model bahasa praterlatih berskala besar kepada tugas baharu dengan melatih hanya sebilangan kecil parameter tambahan dan bukannya setiap pemberat dalam model. Ini membolehkan penalaan halus dilakukan dengan memori GPU dan pengkomputeran yang jauh lebih sedikit sambil membiarkan model asal sebahagian besarnya tidak disentuh.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
Sumber
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Cara memetik halaman ini
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/ms/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Rangkaian Generatif AdversarialPembelajaran Mendalam↔ compare
- Random ForestPembelajaran Mesin↔ compare
- Autoenkoder VariasiPembelajaran Mendalam↔ compare
- Transformer VisiPembelajaran Mendalam↔ compare
- XGBoostPembelajaran Mesin↔ compare
Dirujuk oleh
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →