QLoRA
QLoRA adalah metode penyempurnaan (fine-tuning) efisien yang diperkenalkan oleh Dettmers et al. pada tahun 2023 yang memungkinkan penyempurnaan model bahasa besar (large language models) menggunakan kuantisasi dan adaptasi peringkat rendah (low-rank adaptation). Dengan menggabungkan kuantisasi 4-bit dengan LoRA, QLoRA mengurangi kebutuhan memori sebesar 75%, memungkinkan penyempurnaan model berparameter 65 miliar pada satu GPU.
Baca metode selengkapnya
Masuk dengan akun gratis untuk membaca bagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
Sumber
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Cara menyitasi halaman ini
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/id/deep-learning/qlora
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimisasi Preferensi LangsungPembelajaran Mendalam↔ compare
- Model Difusi LatenPembelajaran Mendalam↔ compare
- Mamba (Model Ruang Keadaan)Pembelajaran Mendalam↔ compare
- Autoenkoder BertopengPembelajaran Mendalam↔ compare
Dirujuk oleh
Menemukan masalah di halaman ini? Laporkan atau usulkan perbaikan →