Vizuálny transformátor (Vision Transformer, ViT) so semi-dohľadom

Vizuálny transformátor so semi-dohľadom (Semi-supervised Vision Transformer) aplikuje patchovú architektúru s mechanizmom vlastnej pozornosti (self-attention) z modelu ViT na scenáre, kde je označená len časť obrázkov. Využíva rozsiahle neoznačené korpusy prostredníctvom pseudo-označovania (pseudo-labeling), konzistenčnej regularizácie (consistency regularization) alebo predtréningových úloh so samo-dohľadom (self-supervised pretext tasks) pred doladením (fine-tuning) na malej označenkej množine. Tento prístup dosahuje takmer dohľadovú presnosť (near-supervised accuracy), aj keď označených obrázkov je málo.