LoRA și PEFT
LoRA (Low-Rank Adaptation), introdusă de Hu et al. în 2022, și familia mai largă de metode de fine-tuning eficient din punct de vedere al parametrilor (PEFT) adaptează modele lingvistice mari pre-antrenate la sarcini noi prin antrenarea doar a unui număr mic de parametri suplimentari, în loc de fiecare pondere din model. Acest lucru face ca fine-tuning-ul să fie posibil cu mult mai puțină memorie GPU și putere de calcul, lăsând în același timp modelul original în mare parte neatins.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
Surse
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Cum se citează această pagină
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/ro/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Rețea Generativă AdversarialÎnvățare profundă↔ compare
- Pădurea Aleatoare (Random Forest)Învățare automată↔ compare
- Autoencoder VariaționalÎnvățare profundă↔ compare
- Vision TransformerÎnvățare profundă↔ compare
- XGBoostÎnvățare automată↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →