Półnadzorowany Vision Transformer

Półnadzorowany Vision Transformer (Semi-supervised Vision Transformer) stosuje architekturę mechanizmu uwagi własnej (self-attention) opartą na łatkach (patchach) z modelu ViT do zastosowań, w których tylko niewielka część obrazów jest opatrzona etykietami. Wykorzystuje on duże zbiory danych nieopatrzonych etykietami poprzez pseudo-etykietowanie, regularyzację spójności lub zadania wstępne uczenia samonadzorowanego przed dostrajaniem (fine-tuning) na małym zbiorze danych opatrzonych etykietami. Takie podejście osiąga dokładność zbliżoną do uczenia nadzorowanego nawet przy niedoborze etykietowanych obrazów.