Puolivalvottu Transformer
Puolivalvottu oppiminen Transformer-arkkitehtuureilla hyödyntää suuria määriä merkitsemätöntä dataa pienen merkityn joukon rinnalla tehokkaiden sekvenssimallien kouluttamiseksi. Vallitseva malli – jonka BERT on esimerkkinä – esikouluttaa ensin Transformer-mallin merkitsemättömällä datalla itseohjautuvilla tavoitteilla, kuten maskattujen tokenien ennustamisella, ja hienosäätää sen sitten merkitylle tehtävälle. Tämä kaksivaiheinen lähestymistapa vähentää merkittävästi merkityn datan tarvetta vahvan suorituskyvyn saavuttamiseksi.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Lähteet
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/fi/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-pohjainen luokitteluSyväoppiminen↔ compare
- Hienosäädetty TransformerSyväoppiminen↔ compare
- RoBERTa-pohjainen luokitteluSyväoppiminen↔ compare
- Itsearvioitu TransformerSyväoppiminen↔ compare
- Puolivalvottu konvoluutioneuroverkkoSyväoppiminen↔ compare
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →