LoRA un PEFT
LoRA (Low-Rank Adaptation), ko Hu et al. ieviesa 2022. gadā, un plašākā parametru efektīvas smalktūnēšanas (PEFT) metožu saime pielāgo lielus iepriekš apmācītus valodu modeļus jaunām uzdevumām, apmācot tikai nelielu skaitu papildu parametru, nevis katru svara elementu modelī. Tas padara smalktūnēšanu iespējamu ar krietni mazāku GPU atmiņu un aprēķinu jaudu, vienlaikus atstājot sākotnējo modeli lielā mērā nemainītu.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
Avoti
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Kā citēt šo lapu
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/lv/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatīvais Adversariālais TīklsDziļā mācīšanās↔ compare
- Random ForestMašīnmācīšanās↔ compare
- Variacionālais autoenkodersDziļā mācīšanās↔ compare
- Vision TransformerDziļā mācīšanās↔ compare
- XGBoostMašīnmācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →