Dostrajanie BERT
Dostrajanie BERT, bazujące na modelu BERT wprowadzonego przez Devlina i współpracowników w 2019 roku, polega na ponownym trenowaniu wstępnie wytrenowanego modelu BERT na małym zbiorze danych z etykietami dla określonego zadania, takiego jak klasyfikacja, rozpoznawanie jednostek nazwanych czy odpowiadanie na pytania. Dzięki uczeniu transferowemu osiąga wysoką wydajność nawet przy stosunkowo niewielkiej ilości danych specyficznych dla zadania.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. DOI: 10.18653/v1/N19-1423 ↗
- Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL. DOI: 10.1007/978-3-030-32381-3_16 ↗
Jak cytować tę stronę
ScholarGate. (2026, June 1). Fine-Tuning of Pre-trained BERT (Bidirectional Encoder Representations from Transformers). ScholarGate. https://scholargate.app/pl/deep-learning/bert-finetuning
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Dostrajanie GPTUczenie głębokie↔ compare
- LoRA i PEFTUczenie głębokie↔ compare
- Random ForestUczenie maszynowe↔ compare
- Vision TransformerUczenie głębokie↔ compare
- XGBoostUczenie maszynowe↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →