Registre d'evidència del mètode

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Registre font

Les citacions es copien textualment del registre font del mètode. No s'infereix cap verificació a nivell de reclam d'elles.

Efficient Finetuning of Quantized LLMs

Registre de mètode taxonòmic · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Obre el mètode complet

Reclamacions curades

Les reclamacions s'han persistit al registre de proves, cadascuna amb la seva pròpia avaluació.

Encara no hi ha reclamacions curades

Aquesta vista no inventa una avaluació de reclam quan el registre no en té cap.

Mètodes relacionats

Generat a partir del gràfic de mètodes i mostrat com a relacions suggerides per la màquina; no s'infereix cap reclamació d'evidència.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.