LoRA ja PEFT
Hu et al. vuonna 2022 esittelemä LoRA (Low-Rank Adaptation) ja laajempi parametritehokkaiden hienosäätömenetelmien (PEFT) perhe mukauttavat suuria esikoulutettuja kielimalleja uusiin tehtäviin kouluttamalla vain pienen määrän lisäparametreja mallin kaikkien painojen sijaan. Tämä mahdollistaa hienosäädön huomattavasti pienemmällä GPU-muistilla ja laskentateholla, jättäen alkuperäisen mallin suurelta osin koskemattomaksi.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
Lähteet
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/fi/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatiivinen kilpaileva verkkoSyväoppiminen↔ compare
- Random ForestKoneoppiminen↔ compare
- Variational AutoencoderSyväoppiminen↔ compare
- Vision TransformerSyväoppiminen↔ compare
- XGBoostKoneoppiminen↔ compare
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →