LoRA a PEFT
LoRA (Low-Rank Adaptation), představená Hu et al. v roce 2022, a širší rodina metod efektivního ladění parametrů (PEFT) přizpůsobují velké předtrénované jazykové modely novým úkolům trénováním pouze malého počtu dodatečných parametrů namísto všech vah v modelu. To umožňuje ladění s mnohem menší pamětí GPU a výpočetním výkonem, přičemž původní model zůstává z velké části nedotčen.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Jak citovat tuto stránku
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/cs/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generativní adversariální síťHluboké učení↔ compare
- Random ForestStrojové učení↔ compare
- Variační autoenkodérHluboké učení↔ compare
- Vision TransformerHluboké učení↔ compare
- XGBoostStrojové učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →