Methodenbewijsdossier

LoRA and PEFT

LoRA (Low-Rank Adaptation), introduced by Hu et al. in 2022, and the broader family of parameter-efficient fine-tuning (PEFT) methods adapt large pretrained language models to new tasks by training only a small number of extra parameters instead of every weight in the model. This makes fine-tuning possible with far less GPU memory and compute while leaving the original model largely untouched.

Sources recorded, not reviewed

Bronrecord

Citaten letterlijk overgenomen uit het bronrecord van de methode. Hieruit wordt geen verificatie op claimniveau afgeleid.

Low-Rank Adaptation and Parameter-Efficient Fine-Tuning

Taxonomisch methodendossier · ml-model / deep-learning

Volledige methode openen

Gecureerde claims

Claims opgeslagen in het bewijsregister, elk met zijn eigen beoordeling.

Nog geen gecureerde claims

Deze weergave verzint geen claimbeoordeling als het register er geen heeft.

Gerelateerde methoden

Gegenereerd uit de methodegraaf en getoond als machinaal voorgestelde relaties — er wordt geen bewijsclaim afgeleid.

Same method familyGenerative Adversarial Networkmachine-suggested · Relational suggestion, not evidence.Same method familyRandom Forestmachine-suggested · Relational suggestion, not evidence.Same method familyVariational Autoencodermachine-suggested · Relational suggestion, not evidence.Same method familyVision Transformermachine-suggested · Relational suggestion, not evidence.Same method familyXGBoostmachine-suggested · Relational suggestion, not evidence.