QLoRA
QLoRA est une méthode d'ajustement fin efficace introduite par Dettmers et al. en 2023 qui permet d'ajuster finement de grands modèles de langage en utilisant la quantification et l'adaptation de bas rang (low-rank adaptation). En combinant la quantification 4 bits avec LoRA, QLoRA réduit les besoins en mémoire de 75 %, permettant l'ajustement fin de modèles à 65 milliards de paramètres sur des GPU uniques.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
Sources
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Comment citer cette page
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/fr/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimisation directe des préférencesApprentissage profond↔ compare
- Modèles de Diffusion LatenteApprentissage profond↔ compare
- Mamba (Modèle à espace d'états)Apprentissage profond↔ compare
- Autoencodeurs masquésApprentissage profond↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →