LoRA και PEFT
Η LoRA (Low-Rank Adaptation), που εισήχθη από τους Hu et al. το 2022, και η ευρύτερη οικογένεια μεθόδων αποτελεσματικής προσαρμογής παραμέτρων (PEFT) προσαρμόζουν μεγάλα προεκπαιδευμένα γλωσσικά μοντέλα σε νέες εργασίες εκπαιδεύοντας μόνο έναν μικρό αριθμό επιπλέον παραμέτρων αντί για κάθε βάρος στο μοντέλο. Αυτό καθιστά δυνατή την προσαρμογή με πολύ λιγότερη μνήμη GPU και υπολογιστική ισχύ, αφήνοντας το αρχικό μοντέλο σε μεγάλο βαθμό ανέγγιχτο.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
Πηγές
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/el/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Γενετικό Ανταγωνιστικό ΔίκτυοΒαθιά Μάθηση↔ compare
- Τυχαίο ΔάσοςΜηχανική Μάθηση↔ compare
- Variational AutoencoderΒαθιά Μάθηση↔ compare
- Vision TransformerΒαθιά Μάθηση↔ compare
- XGBoostΜηχανική Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →