Трансформер с полунаблюдавано обучение
Полунаблюдаваното обучение с трансформерни архитектури използва големи количества немаркирани данни заедно с малък маркиран набор за обучение на мощни модели за последователности. Доминиращият модел — илюстриран от BERT — първо предварително обучава трансформера върху немаркирани данни, използвайки самонаблюдавани цели като предсказване на маскирани токени, след което го дообучава (fine-tunes) за маркираната задача. Този двуетапен подход драстично намалява необходимостта от маркирани данни за постигане на силни резултати.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Източници
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/bg/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класификация, базирана на BERTДълбоко обучение↔ compare
- Фино настройване на ТрансформърДълбоко обучение↔ compare
- Класификация, базирана на RoBERTaДълбоко обучение↔ compare
- Самоконтролиран Трансформър (Self-supervised Transformer)Дълбоко обучение↔ compare
- Полу-наблюдавана конволюционна невронна мрежаДълбоко обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →