Machine learningDeep learning / NLP / CV

自监督Transformer

自监督Transformer是一种Transformer网络，它使用自动构建的监督信号（例如掩码令牌预测或下一句预测）进行预训练，而不是使用人工标注的标签。然后，将生成的表示在下游任务上进行微调或探测。BERT、GPT和ViT（处于掩码图像建模模式的Vision Transformer）是这种范式最广为人知的实例。

在 MethodMind 中打开即将推出视频即将推出Download slides

阅读完整方法

仅限会员

使用免费账户登录即可阅读本节。

Method map

The neighbourhood of related methods — select a node to explore.

自监督Transformer

[需翻译标题：BERT-based Classi…微调Transformer 基于RoBERTa的分类自监督卷积神经网络句子嵌入可解释 Transformer 自监督 GRU 自监督句子嵌入半监督式 Transformer 弱监督 Transformer

来源

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗

如何引用本页

ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/zh/deep-learning/self-supervised-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

[需翻译标题：BERT-based Classification...]深度学习↔ compare
微调Transformer深度学习↔ compare
基于RoBERTa的分类深度学习↔ compare
自监督卷积神经网络深度学习↔ compare
句子嵌入深度学习↔ compare

Compare side by side →

被引用于

可解释 Transformer 自监督卷积神经网络自监督 GRU 自监督句子嵌入半监督式 Transformer 弱监督 Transformer

发现本页有问题？报告或提出修改建议 →