LoRA и PEFT
LoRA (Low-Rank Adaptation), въведена от Hu et al. през 2022 г., и по-широкото семейство методи за ефективно дообучаване на параметри (PEFT) адаптират големи предварително обучени езикови модели към нови задачи, като обучават само малък брой допълнителни параметри, вместо всеки тегловен коефициент в модела. Това прави дообучаването възможно с много по-малко GPU памет и изчислителна мощ, като същевременно оригиналният модел остава до голяма степен недокоснат.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Източници
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Как да цитирате тази страница
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/bg/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Генеративна състезателна мрежаДълбоко обучение↔ compare
- Случайна гораМашинно обучение↔ compare
- Вариационен автоенкодерДълбоко обучение↔ compare
- Vision TransformerДълбоко обучение↔ compare
- XGBoostМашинно обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →