Self-supervised Transformer
A self-supervised Transformer is a Transformer network pretrained using automatically constructed supervision signals — such as masked token prediction or next-sentence prediction — rather than human-annotated labels. The resulting representations are then fine-tuned or probed on downstream tasks. BERT, GPT, and ViT (Vision Transformer in masked-image modeling mode) are the most widely known instantiations of this paradigm.
Изходен запис
Цитиранията са копирани дословно от изходния запис на метода. Те не предполагат проверка на ниво твърдение.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. · DOI 10.18653/v1/N19-1423
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. · URL
Подбрани твърдения
Твърденията са запазени в регистъра на доказателствата, всяко със собствена оценка.
Този изглед не измисля оценка на твърдение, когато регистърът няма такава.
Свързани методи
Генерирани от графа на методите и показани като предложени от машината връзки — не се предполага твърдение за доказателство.