Трансферное обучение с самоконтролем

Трансферное обучение с самоконтролем (self-supervised transfer learning) объединяет два мощных подхода: сначала модель изучает богатые представления на неразмеченных данных с помощью задач самоконтроля (pretext tasks), а затем эти изученные представления переносятся и дообучаются (fine-tuned) на нижестоящей задаче с ограниченным количеством размеченных данных. Этот подход лежит в основе таких знаковых систем, как BERT в обработке естественного языка (NLP) и SimCLR и DINO в компьютерном зрении, что позволяет значительно сократить потребность в размеченных данных во многих областях.