LoRA та PEFT
LoRA (Low-Rank Adaptation), представлений Hu et al. у 2022 році, та ширша родина методів ефективного доналаштування параметрів (PEFT) адаптують великі попередньо навчені мовні моделі до нових завдань, тренуючи лише невелику кількість додаткових параметрів замість кожної ваги в моделі. Це робить доналаштування можливим з набагато меншим обсягом пам'яті GPU та обчислювальних ресурсів, залишаючи оригінальну модель переважно недоторканою.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/uk/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Генеративно-змагальна мережаГлибоке навчання↔ compare
- Випадковий лісМашинне навчання↔ compare
- Варіаційний автокодувальникГлибоке навчання↔ compare
- Трансформер для комп'ютерного зоруГлибоке навчання↔ compare
- XGBoostМашинне навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →