Transformuesi gjysmë i mbikëqyrur
Mësimi gjysmë i mbikëqyrur me arkitekturat Transformuese shfrytëzon sasi të mëdha të të dhënave të paetiketuara së bashku me një grup të vogël të etiketuar për të trajnuar modele të fuqishme sekuencash. Modeli dominues — i shembulluar nga BERT — fillimisht para-trajnon Transformuesin mbi të dhëna të paetiketuara duke përdorur objektiva vetë-mbikëqyrëse si parashikimi i shenjave të maskuara, pastaj e akordon atë në detyrën e etiketuar. Kjo qasje me dy faza redukton në mënyrë dramatike të dhënat e etiketuar të nevojshme për të arritur performancë të fortë.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Burimet
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Si ta citoni këtë faqe
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/sq/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Klasifikimi i bazuar në BERTMësimi i thellë↔ compare
- Transformues i akorduar imëtMësimi i thellë↔ compare
- Klasifikim i bazuar në RoBERTaMësimi i thellë↔ compare
- Transformer vetë-i-mbikëqyrurMësimi i thellë↔ compare
- Rrjeti konvolucional gjysmë-mbikëqyrësMësimi i thellë↔ compare
Cituar nga
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →