Metodebevisregister

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Kilderegister

Siteringer kopiert ordrett fra metodens kilderegister. Ingen påstandsnivåverifisering er underforstått fra dem.

Efficient Finetuning of Quantized LLMs

Taksonomisk metoderegister · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Åpne full metode

Kuraterte påstander

Påstander lagret i bevishovedboken, hver med sin egen vurdering.

Ingen kuraterte påstander ennå

Denne visningen finner ikke opp en påstandsvurdering når hovedboken ikke har noen.

Relaterte metoder

Generert fra metodegrafen og vist som maskinforslåtte relasjoner – ingen bevispåstand er underforstått.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.