Schwach überwachter Vision Transformer (WS-ViT)

Die Pixel-Level-Annotation von medizinischen Scans oder großen Bildarchiven ist teuer und langsam. Schwache Supervision ersetzt exakte Labels durch Signale, die günstig zu erhalten sind – bildbezogene Tags, Bildunterschriften, verrauschte, von Crowdsourcing stammende Annotationen – und akzeptiert, dass diese Signale unvollkommen sind. Vision Transformer eignen sich gut für dieses Szenario, da ihre Self-Attention-Köpfe lernen, entfernte Bildpatches zu verknüpfen und zu entdecken, wo sich relevante Merkmale konzentrieren, ohne dass genaue Positionen angegeben werden. Das Modell lernt, 'auf die richtigen Stellen zu schauen', nur geleitet von lockeren Signalen, was den Annotationsaufwand reduziert, ohne zu viel Genauigkeit zu opfern.