LoRA i PEFT
LoRA (Low-Rank Adaptation), koju su uveli Hu i saradnici 2022. godine, i šira porodica metoda efikasnog finog podešavanja parametara (PEFT) prilagođavaju velike prethodno obučene jezičke modele novim zadacima obučavanjem samo malog broja dodatnih parametara umesto svakog pojedinačnog parametra u modelu. Ovo čini finog podešavanje mogućim sa znatno manje GPU memorije i računarske snage, ostavljajući originalni model uglavnom nepromenjenim.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/sr/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generativna suparnička mrežaDuboko učenje↔ compare
- Slučajna šumaMašinsko učenje↔ compare
- Varijacioni autoenkoderDuboko učenje↔ compare
- Vision TransformerDuboko učenje↔ compare
- XGBoostMašinsko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →