Poluučeni Transformer
Poluučeno učenje s arhitekturama Transformer koristi velike količine neoznačenih podataka uz mali označeni skup za treniranje moćnih modela sekvenci. Dominantni obrazac — primjerice BERT — prvo pred-trenira Transformer na neoznačenim podacima koristeći samonadzirane ciljeve kao što je predviđanje maskiranih tokena, a zatim ga fino podešava na označenom zadatku. Ovaj dvostupanjski pristup dramatično smanjuje količinu označenih podataka potrebnih za postizanje snažnih performansi.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Izvori
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/hr/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-tem klasifikacijaDuboko učenje↔ compare
- Fino podešeni TransformerDuboko učenje↔ compare
- Klasifikacija temeljena na RoBERTa-iDuboko učenje↔ compare
- Transformator samo-nadziranog učenjaDuboko učenje↔ compare
- Polu-nadzirana konvolucijska neuronska mrežaDuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →