LoRA und PEFT
LoRA (Low-Rank Adaptation), eingeführt von Hu et al. im Jahr 2022, und die breitere Familie der parameter-effizienten Feinabstimmungsmethoden (PEFT) passen große vortrainierte Sprachmodelle an neue Aufgaben an, indem sie nur eine kleine Anzahl zusätzlicher Parameter trainieren, anstatt jedes Gewicht im Modell. Dies ermöglicht die Feinabstimmung mit weitaus weniger GPU-Speicher und Rechenleistung, während das ursprüngliche Modell weitgehend unberührt bleibt.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
Quellen
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
So zitieren Sie diese Seite
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/de/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generative Adversarial NetworkDeep Learning↔ compare
- Random ForestMaschinelles Lernen↔ compare
- Variationaler AutoencoderDeep Learning↔ compare
- Vision TransformerDeep Learning↔ compare
- XGBoostMaschinelles Lernen↔ compare
Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →