QLoRA
QLoRA е ефективен метод за фина настройка, представен от Dettmers et al. през 2023 г., който позволява фина настройка на големи езикови модели, използвайки квантизация и нискорангова адаптация. Чрез комбиниране на 4-битова квантизация с LoRA, QLoRA намалява изискванията за памет със 75%, позволявайки фина настройка на модели с 65 милиарда параметъра на единични графични процесори.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Източници
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/bg/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Директна оптимизация на предпочитаниятаДълбоко обучение↔ compare
- Латентни дифузионни моделиДълбоко обучение↔ compare
- Mamba (модел с отворено състояние)Дълбоко обучение↔ compare
- Маскирани автоенкодериДълбоко обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →