Transformer vetë-i-mbikëqyrur

Një Transformer vetë-mbikëqyrës është një rrjet Transformer i parë-trajnua duke përdorur sinjale mbikëqyrëse të ndërtuara automatikisht — të tilla si parashikimi i token-it të maskuar ose parashikimi i fjalisë pasardhëse — në vend të etiketave të shënuara nga njeriu. Përfaqësimet e rezultuara më pas imkësohen ose hetohen për detyra pasuese. BERT, GPT dhe ViT (Vision Transformer në modalitetin e modelimit të imazhit të maskuar) janë instancat më të njohura të këtij paradigme.