LoRA og PEFT
LoRA (Low-Rank Adaptation), introduceret af Hu et al. i 2022, og den bredere familie af parameter-effektive finjusteringsmetoder (PEFT) tilpasser store forudtrænede sprogmodeller til nye opgaver ved kun at træne et lille antal ekstra parametre i stedet for alle vægte i modellen. Dette gør finjustering mulig med langt mindre GPU-hukommelse og beregningskraft, samtidig med at den oprindelige model i vid udstrækning forbliver uberørt.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Sådan citerer du denne side
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/da/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generativ modstridende netværkDyb læring↔ compare
- Random ForestMaskinlæring↔ compare
- Variational AutoencoderDyb læring↔ compare
- Vision TransformerDyb læring↔ compare
- XGBoostMaskinlæring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →