Ασθενώς επιβλεπόμενη ταξινόμηση βασισμένη σε RoBERTa

Η ασθενώς επιβλεπόμενη ταξινόμηση βασισμένη σε RoBERTa συνδυάζει το προεκπαιδευμένο μετασχηματιστή RoBERTa με ασθενή επίβλεψη — προγραμματιστικές ή ευριστικές πηγές επισήμανσης — για την εκπαίδευση ισχυρών ταξινομητών κειμένου χωρίς να απαιτείται πλήρως χειροκίνητα επισημασμένο σύνολο δεδομένων. Οι συναρτήσεις επισήμανσης, η απομακρυσμένη επίβλεψη ή τα σήματα που προέρχονται από πλήθος (crowd-sourced) παράγουν θορυβώδεις ετικέτες που συγκεντρώνονται και χρησιμοποιούνται για τη λεπτομερή ρύθμιση (fine-tuning) του RoBERTa για εργασίες ταξινόμησης κατάντη (downstream).