LoRA a PEFT
LoRA (Low-Rank Adaptation), predstavená Hu et al. v roku 2022, a širšia rodina metód efektívneho dolaďovania parametrov (PEFT) adaptujú veľké predtrénované jazykové modely na nové úlohy trénovaním len malého počtu dodatočných parametrov namiesto každej váhy v modeli. To umožňuje dolaďovanie s oveľa menšou pamäťou GPU a výpočtovým výkonom, pričom pôvodný model zostáva do značnej miery nedotknutý.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Ako citovať túto stránku
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/sk/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatívna protiadverзárna sieťHlboké učenie↔ compare
- Náhodný lesStrojové učenie↔ compare
- Variačný autoenkodérHlboké učenie↔ compare
- Vision TransformerHlboké učenie↔ compare
- XGBoostStrojové učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →