Poolitatud Transformer
Poolitatud õpe Transformer-arhitektuuridega kasutab suurtes kogustes märgistamata andmeid koos väikese märgistatud komplektiga võimsate järjestusmudelite koolitamiseks. Domineeriv muster – mida BERT illustreerib – esmalt eelkoolitab Transformer-i märgistamata andmetel, kasutades isejuhendatud eesmärke, nagu maskeeritud tokeni ennustamine, seejärel täpsustab seda märgistatud ülesande jaoks. See kaheetapiline lähenemisviis vähendab dramaatiliselt vajalikku märgistatud andmete hulka tugeva jõudluse saavutamiseks.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Allikad
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/et/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-põhine klassifitseerimineSüvaõpe↔ compare
- Fine-Tuned TransformerSüvaõpe↔ compare
- RoBERTa-põhine klassifitseerimineSüvaõpe↔ compare
- Isejuhendatud TransformerSüvaõpe↔ compare
- Pooltreenimisega konvolutsiooniline närvivõrkSüvaõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →