Ταξινόμηση βασισμένη σε BERT με προσαρμογή στον τομέα

Η ταξινόμηση βασισμένη σε BERT με προσαρμογή στον τομέα επεκτείνει την τυπική διαδικασία λεπτορύθμισης (fine-tuning) συνεχίζοντας αρχικά την προ-εκπαίδευση του BERT με το μοντέλο μάσκας γλώσσας (masked-language-model) σε ένα μεγάλο σώμα κειμένου χωρίς ετικέτες εντός του τομέα, και στη συνέχεια λεπτορυθμίζοντας το προσαρμοσμένο μοντέλο σε επισημασμένα παραδείγματα για την στοχευμένη εργασία ταξινόμησης. Αυτή η προσέγγιση δύο σταδίων γεφυρώνει το λεξιλογικό και διανεμητικό χάσμα μεταξύ του γενικού σώματος προ-εκπαίδευσης του BERT και εξειδικευμένων τομέων όπως η βιοϊατρική, η νομική, η χρηματοοικονομική ή το κείμενο μέσων κοινωνικής δικτύωσης.