Transformer Visi Separuh-Selia

Transformer Visi Separuh-Selia (Semi-supervised Vision Transformer - SSViT) mengaplikasikan seni bina perhatian kendiri berasaskan tampalan (patch-based self-attention) ViT kepada tetapan di mana hanya sebahagian kecil imej dilabel, memanfaatkan korpus tidak berlabel yang besar melalui pelabelan palsu (pseudo-labeling), regularisasi konsistensi, atau tugasan awalan kendiri (self-supervised pretext tasks) sebelum penalaan halus (fine-tuning) pada set berlabel yang kecil. Pendekatan ini mencapai ketepatan hampir-selia (near-supervised accuracy) walaupun imej berlabel adalah terhad.