Αυτο-επιβλεπόμενο Transformer

Ένα αυτο-επιβλεπόμενο Transformer είναι ένα δίκτυο Transformer που έχει προεκπαιδευτεί χρησιμοποιώντας αυτόματα κατασκευασμένα σήματα εποπτείας — όπως πρόβλεψη καλυμμένων συμβόλων (masked token prediction) ή πρόβλεψη επόμενης πρότασης (next-sentence prediction) — αντί για ετικέτες που έχουν σχολιαστεί από ανθρώπους. Οι προκύψουσες αναπαραστάσεις στη συνέχεια βελτιστοποιούνται (fine-tuned) ή διερευνώνται (probed) σε εργασίες κατάντησης (downstream tasks). Τα BERT, GPT και ViT (Vision Transformer σε λειτουργία μοντελοποίησης καλυμμένης εικόνας) είναι οι πιο ευρέως γνωστές υλοποιήσεις αυτού του παραδείγματος.