Metodes pierādījumu reģistrs

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Avota reģistrs

Atsauces kopētas tieši no metodes avota reģistra. Tās nenozīmē nekādu apgalvojumu līmeņa verifikāciju.

Efficient Finetuning of Quantized LLMs

Taksonomiskās metodes reģistrs · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Atvērt pilnu metodi

Kurēti apgalvojumi

Apgalvojumi saglabāti pierādījumu reģistrā, katram ar savu novērtējumu.

Vēl nav kurētu apgalvojumu

Šis skatījums neizgudro apgalvojumu novērtējumu, ja reģistrā tā nav.

Saistītās metodes

Ģenerēts no metodes grafika un parādīts kā mašīnas ieteiktas attiecības — netiek izvirzīts neviens pierādījumu apgalvojums.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.