Machine learningDeep learning / NLP / CV

RoBERTa-pohjainen luokittelu

RoBERTa-pohjainen luokittelu soveltaa RoBERTa-esikoulutettua muuntajaverkkoa – joka on koulutettu BERT:iä vankemmin dynaamisella maskauksella ja suuremmilla erillä – tekstin kategorisointitehtäviin lisäämällä kevyt luokittelupää [CLS]-tunnuksen esityksen päälle ja hienosäätämällä koko mallia merkityillä esimerkeillä. Se vastaa tai ylittää johdonmukaisesti BERT:in suorituskyvyn standardeissa luonnollisen kielen käsittelyn (NLP) vertailuarvoissa.

Avaa sovelluksessa MethodMindTulossaVideoTulossaDownload slides

Lue koko menetelmä

Vain jäsenille

Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.

Kirjaudu sisään

Method map

The neighbourhood of related methods — select a node to explore.

+24 more

Lähteet

  1. Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423

Näin viittaat tähän sivuun

ScholarGate. (2026, June 3). RoBERTa-based Text Classification (Robustly Optimized BERT Pretraining Approach). ScholarGate. https://scholargate.app/fi/deep-learning/roberta-based-classification

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side

Tähän viittaavat

ScholarGateRoBERTa-based Classification (RoBERTa-based Text Classification (Robustly Optimized BERT Pretraining Approach)). Haettu 2026-06-15 osoitteesta https://scholargate.app/fi/deep-learning/roberta-based-classification · Aineisto: https://doi.org/10.5281/zenodo.20539026