LoRA i PEFT
LoRA (Low-Rank Adaptation), introduït per Hu et al. el 2022, i la família més àmplia de mètodes d'ajustament eficient de paràmetres (PEFT) adapten grans models de llenguatge pre-entrenats a noves tasques entrenant només un petit nombre de paràmetres addicionals en lloc de cada pes del model. Això fa que l'ajustament sigui possible amb molta menys memòria de GPU i càlcul, deixant el model original en gran part intacte.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/ca/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generative Adversarial NetworkAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- Variational AutoencoderAprenentatge profund↔ compare
- Vision TransformerAprenentatge profund↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →