Dolaďovaný transformátor
Dolaďování transformátoru adaptuje velký předtrénovaný model — jako BERT, GPT nebo ViT — na specifickou následnou úlohu pokračováním tréninku založeného na gradientech na označeném cílovém datovém souboru. Tato dvoufázová paradigma (předtrénovat a poté doladit) konzistentně dosahuje špičkových výsledků napříč úlohami zpracování přirozeného jazyka a počítačového vidění s mnohem menším množstvím dat specifických pro danou úlohu než trénink od začátku.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
Zdroje
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Jak citovat tuto stránku
ScholarGate. (2026, June 3). Fine-Tuned Transformer (Task-Specific Adaptation of Pre-Trained Transformer Models). ScholarGate. https://scholargate.app/cs/deep-learning/fine-tuned-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Klasifikace založená na BERTHluboké učení↔ compare
- Klasifikace založená na doladěném BERTHluboké učení↔ compare
- Dolaďovaná rekurentní neuronová síťHluboké učení↔ compare
- Klasifikace založená na RoBERTaHluboké učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →