Дообучение BERT
Дообучение BERT, основанное на модели BERT, представленной Девлином и его коллегами в 2019 году, повторно обучает предварительно обученную модель BERT на небольшом размеченном наборе данных для целевой задачи, такой как классификация, распознавание именованных сущностей или ответы на вопросы. Благодаря трансферному обучению достигается высокая производительность даже при относительно небольшом объеме данных, специфичных для задачи.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Источники
- Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. DOI: 10.18653/v1/N19-1423 ↗
- Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL. DOI: 10.1007/978-3-030-32381-3_16 ↗
Как цитировать эту страницу
ScholarGate. (2026, June 1). Fine-Tuning of Pre-trained BERT (Bidirectional Encoder Representations from Transformers). ScholarGate. https://scholargate.app/ru/deep-learning/bert-finetuning
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Тонкая настройка GPTГлубокое обучение↔ compare
- LoRA и PEFTГлубокое обучение↔ compare
- Случайный лесМашинное обучение↔ compare
- Vision TransformerГлубокое обучение↔ compare
- XGBoostМашинное обучение↔ compare
Упоминается в
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →