Класифікація на основі BERT з адаптацією до предметної області

Класифікація на основі BERT з адаптацією до предметної області розширює стандартний конвеєр доналаштування, спочатку продовжуючи попереднє навчання BERT за допомогою моделі маскованої мови на великому корпусі нерозміченого тексту в межах предметної області, а потім доналаштовуючи адаптовану модель на розмічених прикладах для цільового завдання класифікації. Цей двоетапний підхід усуває розрив у словниковому запасі та розподілі між загальним корпусом попереднього навчання BERT та спеціалізованими областями, такими як біомедицина, право, фінанси або тексти соціальних мереж.