Ταξινόμηση Βασισμένη σε RoBERTa Προσαρμοσμένη στον Τομέα

Η ταξινόμηση βασισμένη σε RoBERTa προσαρμοσμένη στον τομέα επεκτείνει τον μετασχηματιστή RoBERTa, συνεχίζοντας πρώτα την προεκπαίδευσή του με μοντέλο κρυμμένης γλώσσας σε ένα σώμα κειμένων ειδικού τομέα, πριν από τη λεπτομερή ρύθμιση για μια εργασία ταξινόμησης. Αυτή η δισταδιακή προσαρμογή γεφυρώνει το χάσμα μεταξύ γενικών δεδομένων εκπαίδευσης που έχουν αντληθεί από τον ιστό και εξειδικευμένων πεδίων, όπως κείμενα βιοϊατρικής, νομικής ή επιστημονικής φύσης, υπεραποδίδοντας σταθερά σε σχέση με την τυπική λεπτομερή ρύθμιση του RoBERTa όταν είναι διαθέσιμο κείμενο του πεδίου-στόχου.