Transformer yang dilatih mandiri

Transformer yang dilatih mandiri adalah jaringan Transformer yang dilatih sebelumnya menggunakan sinyal supervisi yang dibangun secara otomatis — seperti prediksi token yang ditutupi (masked token prediction) atau prediksi kalimat berikutnya (next-sentence prediction) — alih-alih label yang dianotasi manusia. Representasi yang dihasilkan kemudian disesuaikan (fine-tuned) atau diuji (probed) pada tugas hilir (downstream tasks). BERT, GPT, dan ViT (Vision Transformer dalam mode pemodelan gambar yang ditutupi) adalah instansiasi paling terkenal dari paradigma ini.