Semi-supervised Transformer
Semi-supervised learning met Transformer-architecturen benut grote hoeveelheden ongelabelde data naast een kleine gelabelde set om krachtige sequentiemodellen te trainen. Het dominante patroon — geïllustreerd door BERT — traint de Transformer eerst op ongelabelde data met behulp van zelf-gesuperviseerde doelen zoals het voorspellen van gemaskeerde tokens, en stelt deze vervolgens fijn af op de gelabelde taak. Deze tweestapsaanpak vermindert de benodigde gelabelde data drastisch om sterke prestaties te bereiken.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Bronnen
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/nl/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-gebaseerde ClassificatieDeep learning↔ compare
- Gefinetunede TransformerDeep learning↔ compare
- RoBERTa-gebaseerde ClassificatieDeep learning↔ compare
- Zelf-gesuperviseerde TransformerDeep learning↔ compare
- Semi-supervised Convolutional Neural NetworkDeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →