Metodbevispost

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Källpost

Citat kopierade ordagrant från metodens källpost. Ingen verifiering på källnivå härleds från dem.

Efficient Finetuning of Quantized LLMs

Taxonomisk metodpost · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Öppna fullständig metod

Kuraterade påståenden

Påståenden lagrade i bevisloggen, var och en med sin egen bedömning.

Inga kuraterade påståenden ännu

Denna vy hittar inte på en påståendebedömning när loggen saknar en.

Relaterade metoder

Genererade från metodgrafen och visade som maskinföreslagna relationer – inga bevispåståenden härleds.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.