การจำแนกประเภทแบบ BERT ที่ปรับให้เข้ากับโดเมน
การจำแนกประเภทแบบ BERT ที่ปรับให้เข้ากับโดเมน (Domain-adaptive BERT-based classification) เป็นการขยายไปจากกระบวนการ fine-tuning มาตรฐาน โดยเริ่มจากการฝึกฝนโมเดล BERT ต่อเนื่องด้วย masked-language-model pre-training บนคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ (unlabeled text) ในโดเมนเป้าหมาย จากนั้นจึงทำการ fine-tune โมเดลที่ปรับแล้วบนข้อมูลที่มีป้ายกำกับ (labeled examples) สำหรับงานจำแนกประเภทเป้าหมาย วิธีการสองขั้นตอนนี้ช่วยลดช่องว่างของคำศัพท์และลักษณะการกระจายตัวระหว่างคลังข้อมูล pre-training ทั่วไปของ BERT กับโดเมนเฉพาะทาง เช่น ชีวการแพทย์ กฎหมาย การเงิน หรือข้อความจากโซเชียลมีเดีย
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
แหล่งอ้างอิง
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/th/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- การจำแนกประเภทโดยใช้ BERTการเรียนรู้เชิงลึก↔ compare
- โดเมน-อะแดปทีฟ ทรานส์ฟอร์มเมอร์การเรียนรู้เชิงลึก↔ compare
- การจำแนกประเภทโดยใช้ BERT ที่ปรับละเอียดการเรียนรู้เชิงลึก↔ compare
- การจำแนกประเภทโดยใช้ RoBERTaการเรียนรู้เชิงลึก↔ compare
- Sentence Embeddingsการเรียนรู้เชิงลึก↔ compare
- การเรียนรู้แบบถ่ายโอนด้วยการจำแนกประเภทโดยใช้ BERTการเรียนรู้เชิงลึก↔ compare