Machine learningDeep Learning, Language Models, Parameter Efficient Fine-Tuning
QLoRA
QLoRA는 Dettmers 등이 2023년에 소개한 효율적인 미세 조정 방법으로, 양자화와 저랭크 적응을 사용하여 대규모 언어 모델을 미세 조정할 수 있게 합니다. 4비트 양자화와 LoRA를 결합함으로써 QLoRA는 메모리 요구량을 75% 줄여 단일 GPU에서 65B 매개변수 모델의 미세 조정을 가능하게 합니다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
방법 지도
관련 방법들로 이루어진 인접 영역 — 노드를 선택해 살펴보세요.
출처
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/ko/deep-learning/qlora
어떤 방법일까요?
이 방법을 가장 가까운 동류의 방법들과 나란히 놓고 비교해 보세요 — 라이브러리는 책을 펼쳐 놓을 뿐, 선택은 여러분의 몫입니다.
나란히 비교하기 →