Metodin todisteiden tietue

QLoRA

QLoRA is an efficient fine-tuning method introduced by Dettmers et al. in 2023 that enables fine-tuning large language models using quantization and low-rank adaptation. By combining 4-bit quantization with LoRA, QLoRA reduces memory requirements by 75%, enabling fine-tuning of 65B-parameter models on single GPUs.

Sources recorded, not reviewed

Lähdetietue

Sitaatit kopioitu sanatarkasti metodin lähdetietueesta. Niistä ei päätellä väitteiden tasoista varmennusta.

Efficient Finetuning of Quantized LLMs

Taksonominen metoditietue · ml-model / deep-learning

Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. · URL

Avaa koko metodi

Kuratoituja väitteitä

Väitteet tallennettu todistusaineiston pääkirjaan, jokaisella oma arviointinsa.

Ei vielä kuratoituja väitteitä

Tämä näkymä ei keksi väitteen arviointia, jos pääkirjassa ei ole sitä.

Liittyvät metodit

Luotu metodigraafista ja näytetään koneen ehdottamina suhteina – väitteitä ei päätellä.

Same method familyDirect Preference Optimizationmachine-suggested · Relational suggestion, not evidence.Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.