LoRA ja PEFT
LoRA (Low-Rank Adaptation), mille autoriteks on Hu jt 2022. aastal, ning laiem parameeter-efektiivse täpsustamise (PEFT) meetodite perekond kohandavad suuri eelnevalt treenitud keelemudeleid uuteks ülesanneteks, treenides ainult väikest hulka lisaparameetreid, mitte kõiki mudeli kaale. See muudab täpsustamise võimalikuks palju väiksema GPU-mälu ja arvutusressurssidega, jättes originaalmudeli suures osas puutumata.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/et/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatiivne võistlev võrkSüvaõpe↔ compare
- Juhuslik metsMasinõpe↔ compare
- Variational AutoencoderSüvaõpe↔ compare
- Vision TransformerSüvaõpe↔ compare
- XGBoostMasinõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →