Pusuzraudzīts transformators
Pusuzraudzīta apmācība ar transformatoru arhitektūrām izmanto lielu daudzumu neiezīmētu datu kopā ar nelielu iezīmētu kopu, lai apmācītu jaudīgus secību modeļus. Dominējošais modelis, ko piemēro BERT, vispirms iepriekš apmāca transformatoru ar neiezīmētiem datiem, izmantojot pašuzraudzītus mērķus, piemēram, maskētu marķieru prognozēšanu, un pēc tam precizē to iezīmētajam uzdevumam. Šī divpakāpju pieeja ievērojami samazina iezīmēto datu daudzumu, kas nepieciešams, lai sasniegtu augstu veiktspēju.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Avoti
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Kā citēt šo lapu
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/lv/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT klasifikācijaDziļā mācīšanās↔ compare
- Precīzi noskaņots transformatorsDziļā mācīšanās↔ compare
- Klasifikācija, kas balstīta uz RoBERTaDziļā mācīšanās↔ compare
- Pašuzraudzības TransformerDziļā mācīšanās↔ compare
- Daļēji uzraudzīts konvolucionāls neironu tīklsDziļā mācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →