Machine learningDeep Learning, Language Models, Parameter Efficient Fine-Tuning
QLoRA
QLoRA는 Dettmers 등이 2023년에 소개한 효율적인 미세 조정 방법으로, 양자화와 저랭크 적응을 사용하여 대규모 언어 모델을 미세 조정할 수 있게 합니다. 4비트 양자화와 LoRA를 결합함으로써 QLoRA는 메모리 요구량을 75% 줄여 단일 GPU에서 65B 매개변수 모델의 미세 조정을 가능하게 합니다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
출처
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/ko/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Direct Preference Optimization딥러닝↔ compare
- 잠재 확산 모델딥러닝↔ compare
- 맘바 (상태 공간 모델)딥러닝↔ compare
- Masked Autoencoders딥러닝↔ compare