Трансформер с полуавтоматическим обучением

Полуавтоматическое обучение с использованием архитектур Трансформера задействует большие объемы неразмеченных данных наряду с небольшим размеченным набором для обучения мощных моделей последовательностей. Доминирующий шаблон — как, например, в BERT — сначала предварительно обучает Трансформер на неразмеченных данных с использованием задач самообучения, таких как предсказание маскированных токенов, а затем дообучает его для конкретной задачи. Этот двухэтапный подход значительно сокращает объем размеченных данных, необходимых для достижения высокой производительности.