Domeeni-adaptiivne RoBERTa-põhine klassifitseerimine
Domeeni-adaptiivne RoBERTa-põhine klassifitseerimine laiendab RoBERTa transformeri mudelit, jätkates esmalt selle maskeeritud keelemudeli eelkoolitust domeenispetsiifilisel korpusel enne klassifitseerimisülesande jaoks peenhäälestamist. See kaheetapiline adaptatsioon ületab tühimiku üldiste veebist kogutud treeningandmete ja spetsialiseerunud valdkondade, nagu biomeditsiiniline, juriidiline või teaduslik tekst, vahel, ületades järjekindlalt standardse RoBERTa peenhäälestuse, kui sihtdomeeni tekst on saadaval.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Meetodikaart
Seotud meetodite ümbruskond — vali sõlm, et seda uurida.
Allikad
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/et/deep-learning/domain-adaptive-roberta-based-classification
Milline meetod?
Aseta see meetod oma lähimate sugulaste kõrvale ja loe neid kõrvuti — raamatukogu laob raamatud lauale; valik on sinu.
- BERT-põhine klassifitseerimineSüvaõpe↔ võrdle
- Domeeniadaptiivne BERT-põhine klassifitseerimineSüvaõpe↔ võrdle
- Häälestatud RoBERTa-põhine klassifitseerimineSüvaõpe↔ võrdle
- Multilingual RoBERTa-põhine klassifitseerimineSüvaõpe↔ võrdle
- RoBERTa-põhine klassifitseerimineSüvaõpe↔ võrdle
Märkasid sellel lehel viga? Teata sellest või paku parandust →