Samo-nadzorowany Transformer
Samo-nadzorowany Transformer to sieć Transformer wstępnie wytrenowana przy użyciu automatycznie konstruowanych sygnałów nadzoru — takich jak przewidywanie zamaskowanego tokenu lub przewidywanie następnego zdania — zamiast etykiet anotowanych przez człowieka. Uzyskane reprezentacje są następnie dostrajane lub badane w zadaniach pochodnych. BERT, GPT i ViT (Vision Transformer w trybie maskowanego modelowania obrazu) są najbardziej znanymi instancjami tego paradygmatu.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/pl/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Klasyfikacja oparta na BERTUczenie głębokie↔ compare
- Dostrojony TransformerUczenie głębokie↔ compare
- Klasyfikacja oparta na RoBERTaUczenie głębokie↔ compare
- Samo-nadzorowana konwolucyjna sieć neuronowaUczenie głębokie↔ compare
- Osadzanie zdańUczenie głębokie↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →