LoRA i PEFT
LoRA (Low-Rank Adaptation), wprowadzona przez Hu i wsp. w 2022 r., oraz szersza rodzina metod efektywnego dostrajania parametrów (PEFT, parameter-efficient fine-tuning) adaptują duże wstępnie wytrenowane modele językowe do nowych zadań, trenując jedynie niewielką liczbę dodatkowych parametrów zamiast każdej wagi w modelu. Umożliwia to dostrajanie przy znacznie mniejszym zużyciu pamięci GPU i mocy obliczeniowej, pozostawiając oryginalny model w dużej mierze nietknięty.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Jak cytować tę stronę
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/pl/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generatywna Sieć AntagonistycznaUczenie głębokie↔ compare
- Random ForestUczenie maszynowe↔ compare
- Autoenkoder wariacyjnyUczenie głębokie↔ compare
- Vision TransformerUczenie głębokie↔ compare
- XGBoostUczenie maszynowe↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →