Dossier de preuve de méthode

LoRA and PEFT

LoRA (Low-Rank Adaptation), introduced by Hu et al. in 2022, and the broader family of parameter-efficient fine-tuning (PEFT) methods adapt large pretrained language models to new tasks by training only a small number of extra parameters instead of every weight in the model. This makes fine-tuning possible with far less GPU memory and compute while leaving the original model largely untouched.

Sources recorded, not reviewed

Dossier source

Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.

Low-Rank Adaptation and Parameter-Efficient Fine-Tuning

Dossier de méthode taxonomique · ml-model / deep-learning

Ouvrir la méthode complète

Revendications organisées

Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.

Pas encore de revendications organisées

Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.

Méthodes apparentées

Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.

Same method familyGenerative Adversarial Networkmachine-suggested · Relational suggestion, not evidence.Same method familyRandom Forestmachine-suggested · Relational suggestion, not evidence.Same method familyVariational Autoencodermachine-suggested · Relational suggestion, not evidence.Same method familyVision Transformermachine-suggested · Relational suggestion, not evidence.Same method familyXGBoostmachine-suggested · Relational suggestion, not evidence.