Self-supervised Transformer
A self-supervised Transformer is a Transformer network pretrained using automatically constructed supervision signals — such as masked token prediction or next-sentence prediction — rather than human-annotated labels. The resulting representations are then fine-tuned or probed on downstream tasks. BERT, GPT, and ViT (Vision Transformer in masked-image modeling mode) are the most widely known instantiations of this paradigm.
Запис джерела
Цитати скопійовано дослівно з вихідного запису методу. Вони не передбачають перевірки на рівні тверджень.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. · DOI 10.18653/v1/N19-1423
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. · URL
Відібрані твердження
Твердження збережено в журналі доказів, кожне зі своєю оцінкою.
Цей перегляд не вигадує оцінку твердження, якщо в журналі її немає.
Пов'язані методи
Згенеровано з графа методів і показано як рекомендовані системою зв'язки — жодне твердження доказів не передбачається.