Transformer kendiri-terlaras

Transformer kendiri-terlaras ialah rangkaian Transformer yang dilatih awal menggunakan isyarat penyeliaan yang dibina secara automatik — seperti ramalan token bertopeng atau ramalan ayat seterusnya — berbanding label yang dianotasi manusia. Perwakilan yang terhasil kemudiannya dilaraskan halus atau diselidik pada tugasan hiliran. BERT, GPT, dan ViT (Vision Transformer dalam mod pemodelan imej bertopeng) ialah contoh paling terkenal bagi paradigma ini.