Félfelügyelt Transformer
A Transformer architektúrákon alapuló, félfelügyelt tanulás nagymennyiségű címkézetlen adatot használ fel egy kis címkézett készlet mellett, hogy erőteljes szekvenciamodelleket képezzen. A domináns minta — amelyet a BERT példáz — először az előképzést végzi a Transformeren címkézetlen adatokon, önfelügyelt célokkal, mint például az elfedett tokenek predikciója, majd finomhangolja azt a címkézett feladaton. Ez a kétlépcsős megközelítés drámaian csökkenti a szükséges címkézett adatok mennyiségét az erős teljesítmény eléréséhez.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Források
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/hu/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-alapú osztályozásMélytanulás↔ compare
- Finomhangolt TransformerMélytanulás↔ compare
- RoBERTa-alapú osztályozásMélytanulás↔ compare
- Önfelügyelt TransformerMélytanulás↔ compare
- Félig-felügyelt konvolúciós neurális hálózatMélytanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →