Трансформер с самообучением (Self-supervised Transformer)

Трансформер с самообучением — это сеть Трансформер, предварительно обученная с использованием автоматически сконструированных сигналов обучения (таких как предсказание маскированных токенов или предсказание следующего предложения), а не меток, аннотированных человеком. Полученные представления затем дообучаются (fine-tuned) или исследуются (probed) на последующих задачах. BERT, GPT и ViT (Vision Transformer в режиме маскированного моделирования изображений) являются наиболее известными реализациями этой парадигмы.