QLoRA
QLoRA to wydajna metoda dostrajania (fine-tuning) wprowadzona przez Dettmersa i wsp. w 2023 r., umożliwiająca dostrajanie dużych modeli językowych z wykorzystaniem kwantyzacji i adaptacji niskiej rangi (low-rank adaptation). Łącząc 4-bitową kwantyzację z LoRA, QLoRA redukuje zapotrzebowanie na pamięć o 75%, umożliwiając dostrajanie modeli z 65 miliardami parametrów na pojedynczych kartach GPU.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Mapa metod
Sąsiedztwo pokrewnych metod — wybierz węzeł, aby je zgłębić.
Źródła
- Dettmers, T., Pagnoni, A., Holtzman, A., & Contrastive, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Efficient Finetuning of Quantized LLMs. ScholarGate. https://scholargate.app/pl/deep-learning/qlora
Która metoda?
Zestaw tę metodę z najbliższymi jej krewnymi i czytaj je obok siebie — biblioteka kładzie księgi na stole; wybór należy do Ciebie.
- Optymalizacja Bezpośrednich PreferencjiUczenie głębokie↔ porównaj
- Modele dyfuzyjne w przestrzeni utajonejUczenie głębokie↔ porównaj
- Mamba (model przestrzeni stanów)Uczenie głębokie↔ porównaj
- Zamaskowane autoenkoderyUczenie głębokie↔ porównaj
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →