Классификация на основе самообуча с использованием BERT

Классификация на основе самообуча с использованием BERT (Self-supervised BERT-based classification) использует модель Bidirectional Encoder Representations from Transformers (BERT) от Google, предварительно обученную на огромных объемах неразмеченного текста с помощью маскированного языкового моделирования, а затем дообученную на размеченных примерах для отнесения текста к определенным категориям. Этот метод стабильно демонстрирует высочайшую точность в задачах анализа тональности, классификации тем, определения намерений и других задачах обработки естественного языка (NLP), даже при ограниченном объеме размеченных данных.