Полу-надгледани Трансформер
Полу-надгледано учење са Трансформер архитектурама користи велике количине ненадгледаних података заједно са малим означеним скупом за обуку моћних секвенцијалних модела. Доминантни образац — илустрован од стране BERT-а — прво претходно обучава Трансформер на ненадгледаним подацима користећи само-надгледане циљеве као што је предвиђање маскираних токена, а затим га фино подешава на означеном задатку. Овај двостепени приступ драматично смањује количину означених података потребних за постизање снажних перформанси.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Izvori
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/sr/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-based ClassificationDuboko učenje↔ compare
- Fino podešeni TransformerDuboko učenje↔ compare
- Klasifikacija zasnovana na RoBERTa modeluDuboko učenje↔ compare
- Трансформер са самонадзоромDuboko učenje↔ compare
- Polu-nadgledana konvoluciona neuronska mrežaDuboko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →