Methodenbewijsdossier

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Bronrecord

Citaten letterlijk overgenomen uit het bronrecord van de methode. Hieruit wordt geen verificatie op claimniveau afgeleid.

Efficient Finetuning of Quantized LLMs

Taxonomisch methodendossier · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Volledige methode openen

Gecureerde claims

Claims opgeslagen in het bewijsregister, elk met zijn eigen beoordeling.

Nog geen gecureerde claims

Deze weergave verzint geen claimbeoordeling als het register er geen heeft.

Gerelateerde methoden

Gegenereerd uit de methodegraaf en getoond als machinaal voorgestelde relaties — er wordt geen bewijsclaim afgeleid.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.