Phân loại dựa trên BERT thích ứng miền

Phân loại dựa trên BERT thích ứng miền mở rộng quy trình tinh chỉnh tiêu chuẩn bằng cách trước tiên tiếp tục huấn luyện trước mô hình ngôn ngữ mặt nạ (masked-language-model pre-training) của BERT trên một kho ngữ liệu lớn gồm văn bản chưa gán nhãn thuộc miền đích, sau đó tinh chỉnh mô hình đã thích ứng trên các ví dụ đã gán nhãn cho tác vụ phân loại mục tiêu. Cách tiếp cận hai giai đoạn này thu hẹp khoảng cách từ vựng và phân phối giữa kho ngữ liệu huấn luyện trước chung của BERT và các miền chuyên biệt như y sinh, luật, tài chính hoặc văn bản mạng xã hội.