Transformer Separa-Seliaan

Pembelajaran separa-seliaan dengan seni bina Transformer memanfaatkan sejumlah besar data tidak berlabel bersama set berlabel yang kecil untuk melatih model jujukan yang berkuasa. Corak dominan — yang dicontohi oleh BERT — mula-mula melatih awal Transformer pada data tidak berlabel menggunakan objektif separa-seliaan seperti ramalan token bertopeng, kemudian menala halus pada tugas berlabel. Pendekatan dua peringkat ini secara mendadak mengurangkan data berlabel yang diperlukan untuk mencapai prestasi yang kukuh.