Self-supervised Vision Transformer (SSL-ViT)

Satu Vision Transformer membahagikan imej kepada grid tampalan dan menggunakan perhatian untuk menangkap hubungan di seluruh imej. Sentuhan kendiri menyingkirkan atau mendistorsikan beberapa tampalan dan meminta model untuk membina semula atau memadankannya tanpa label yang disediakan manusia. Dengan menyelesaikan teka-teki dalaman ini pada skala besar, model membangunkan ciri visual yang kaya dan tujuan umum — sama seperti BERT mempelajari bahasa dengan meramalkan perkataan yang ditopeng. Hasilnya ialah perwakilan yang dipindahkan dengan kukuh kepada klasifikasi, pengesanan dan segmentasi dengan contoh berlabel yang jauh lebih sedikit berbanding latihan dari awal.