Klasyfikacja oparta na samo-nadzorowanym modelu BERT
Klasyfikacja oparta na samo-nadzorowanym modelu BERT wykorzystuje model Bidirectional Encoder Representations from Transformers (BERT) firmy Google, wstępnie wytrenowany na ogromnych ilościach nieetykietowanego tekstu za pomocą modelowania języka maskowanego (masked-language modelling), a następnie dostrajany na etykietowanych przykładach w celu przypisania tekstu do kategorii. Metoda ta konsekwentnie osiąga najnowocześniejszą dokładność w analizie sentymentu, klasyfikacji tematów, detekcji intencji i podobnych zadaniach przetwarzania języka naturalnego (NLP), nawet przy ograniczonej ilości danych etykietowanych.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
- Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), LNCS 11856, 194–206. Springer. DOI: 10.1007/978-3-030-32381-3_16 ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Self-supervised BERT-based Text Classification (Pretrain then Fine-tune). ScholarGate. https://scholargate.app/pl/deep-learning/self-supervised-bert-based-classification
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →