Transformer แบบกึ่งกำกับดูแล
การเรียนรู้แบบกึ่งกำกับดูแล (Semi-supervised learning) ด้วยสถาปัตยกรรม Transformer ใช้ประโยชน์จากข้อมูลจำนวนมากที่ไม่มีป้ายกำกับ (unlabeled data) ควบคู่ไปกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก (labeled set) เพื่อฝึกโมเดลลำดับที่มีประสิทธิภาพ รูปแบบที่โดดเด่นที่สุด ซึ่งมี BERT เป็นตัวอย่าง คือการฝึก Transformer ล่วงหน้า (pre-train) บนข้อมูลที่ไม่มีป้ายกำกับโดยใช้เป้าหมายการเรียนรู้แบบกำกับตนเอง (self-supervised objectives) เช่น การทำนายโทเค็นที่ถูกปิดบัง (masked token prediction) จากนั้นจึงปรับแต่ง (fine-tune) บนงานที่มีป้ายกำกับ วิธีการสองขั้นตอนนี้ช่วยลดปริมาณข้อมูลที่มีป้ายกำกับที่จำเป็นเพื่อให้ได้ประสิทธิภาพที่สูงได้อย่างมาก
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
แหล่งอ้างอิง
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/th/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- การจำแนกประเภทโดยใช้ BERTการเรียนรู้เชิงลึก↔ compare
- การปรับจูนทรานส์ฟอร์มเมอร์ (Fine-Tuned Transformer)การเรียนรู้เชิงลึก↔ compare
- การจำแนกประเภทโดยใช้ RoBERTaการเรียนรู้เชิงลึก↔ compare
- Self-supervised Transformerการเรียนรู้เชิงลึก↔ compare
- โครงข่ายประสาทเทียมแบบสังวัตนาการแบบกึ่งมีผู้สอนการเรียนรู้เชิงลึก↔ compare