QLoRA
QLoRA è un metodo di fine-tuning efficiente introdotto da Dettmers et al. nel 2023 che consente di effettuare il fine-tuning di modelli linguistici di grandi dimensioni utilizzando la quantizzazione e l'adattamento a basso rango (low-rank adaptation). Combinando la quantizzazione a 4 bit con LoRA, QLoRA riduce i requisiti di memoria del 75%, permettendo il fine-tuning di modelli con 65 miliardi di parametri su singole GPU.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Method map
The neighbourhood of related methods — select a node to explore.
Fonti
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Come citare questa pagina
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/it/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Ottimizzazione Diretta delle PreferenzeApprendimento profondo↔ compare
- Modelli di Diffusione LatenteApprendimento profondo↔ compare
- Mamba (Modello a Spazio degli Stati)Apprendimento profondo↔ compare
- Autoencoder MascheratiApprendimento profondo↔ compare
Citato da
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →