Ημι-επιβλεπόμενος Μετασχηματιστής
Η ημι-επιβλεπόμενη μάθηση με αρχιτεκτονικές Μετασχηματιστών αξιοποιεί μεγάλες ποσότητες μη επισημασμένων δεδομένων παράλληλα με ένα μικρό επισημασμένο σύνολο για την εκπαίδευση ισχυρών μοντέλων ακολουθιών. Το κυρίαρχο μοτίβο — που παραδειγματίζεται από το BERT — πρώτα προ-εκπαιδεύει τον Μετασχηματιστή σε μη επισημασμένα δεδομένα χρησιμοποιώντας αυτο-επιβλεπόμενους στόχους όπως η πρόβλεψη καλυμμένων συμβόλων, και στη συνέχεια τον βελτιστοποιεί (fine-tunes) για την επισημασμένη εργασία. Αυτή η προσέγγιση δύο σταδίων μειώνει δραματικά τα επισημασμένα δεδομένα που απαιτούνται για την επίτευξη ισχυρής απόδοσης.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Πηγές
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/el/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Ταξινόμηση Βασισμένη σε BERTΒαθιά Μάθηση↔ compare
- Προσαρμοσμένος Μετασχηματιστής (Fine-Tuned Transformer)Βαθιά Μάθηση↔ compare
- Ταξινόμηση Βασισμένη σε RoBERTaΒαθιά Μάθηση↔ compare
- Αυτο-επιβλεπόμενο TransformerΒαθιά Μάθηση↔ compare
- Ημι-εποπτευόμενο Συνελικτικό Νευρωνικό ΔίκτυοΒαθιά Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →