LoRA และ PEFT
LoRA (Low-Rank Adaptation) ซึ่งนำเสนอโดย Hu และคณะ ในปี 2022 และตระกูลที่กว้างขึ้นของวิธีการปรับจูนแบบประหยัดพารามิเตอร์ (parameter-efficient fine-tuning: PEFT) จะปรับโมเดลภาษาขนาดใหญ่ที่ได้รับการฝึกฝนล่วงหน้า (pretrained language models) ให้เข้ากับงานใหม่ๆ โดยการฝึกฝนพารามิเตอร์เพิ่มเติมจำนวนเล็กน้อยเท่านั้น แทนที่จะฝึกฝนทุกน้ำหนักในโมเดล วิธีนี้ทำให้การปรับจูนเป็นไปได้โดยใช้หน่วยความจำ GPU และพลังประมวลผลน้อยลงอย่างมาก ในขณะที่โมเดลเดิมยังคงไม่เปลี่ยนแปลงเป็นส่วนใหญ่
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/th/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- โครงข่ายปฏิปักษ์เชิงกำเนิดการเรียนรู้เชิงลึก↔ compare
- Random Forestการเรียนรู้ของเครื่อง↔ compare
- ตัวเข้ารหัสอัตโนมัติแบบแปรผันการเรียนรู้เชิงลึก↔ compare
- วิชันทรานส์ฟอร์มเมอร์การเรียนรู้เชิงลึก↔ compare
- XGBoostการเรียนรู้ของเครื่อง↔ compare