LoRA en PEFT
LoRA (Low-Rank Adaptation), geïntroduceerd door Hu et al. in 2022, en de bredere familie van parameter-efficiënte fine-tuning (PEFT) methoden passen grote vooraf getrainde taalmodellen aan voor nieuwe taken door slechts een klein aantal extra parameters te trainen in plaats van elk gewicht in het model. Dit maakt fine-tuning mogelijk met veel minder GPU-geheugen en rekenkracht, terwijl het originele model grotendeels onaangetast blijft.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
Bronnen
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Deze pagina citeren
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/nl/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatief Adversarieel NetwerkDeep learning↔ compare
- Random ForestMachine learning↔ compare
- Variational AutoencoderDeep learning↔ compare
- Transformator voor Visuele WaarnemingDeep learning↔ compare
- XGBoostMachine learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →