LoRA och PEFT
LoRA (Low-Rank Adaptation), introducerat av Hu et al. 2022, och den bredare familjen av parameter-effektiva finjusteringsmetoder (PEFT) anpassar stora förtränade språkmodeller till nya uppgifter genom att träna endast ett litet antal extra parametrar istället för varje vikt i modellen. Detta gör finjustering möjlig med betydligt mindre GPU-minne och beräkningskraft, samtidigt som originalmodellen lämnas i stort sett orörd.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Så citerar du den här sidan
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/sv/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generativt antagonistiskt nätverkDjupinlärning↔ compare
- Random ForestMaskininlärning↔ compare
- Variational AutoencoderDjupinlärning↔ compare
- Vision TransformerDjupinlärning↔ compare
- XGBoostMaskininlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →