Aller au contenuScholarGate
BibliothèqueMa bibliothèqueBureauReview StudioAssistant
Se connecter
Self-supervised Transformer/Preuve
Dossier de preuve de méthode

Self-supervised Transformer

A self-supervised Transformer is a Transformer network pretrained using automatically constructed supervision signals — such as masked token prediction or next-sentence prediction — rather than human-annotated labels. The resulting representations are then fine-tuned or probed on downstream tasks. BERT, GPT, and ViT (Vision Transformer in masked-image modeling mode) are the most widely known instantiations of this paradigm.

Sources recorded, not reviewed

Dossier source

Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.

Self-supervised Transformer (Pretraining with Self-generated Supervision)
Dossier de méthode taxonomique · ml-model / deep-learning
  • Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. · DOI 10.18653/v1/N19-1423
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. · URL
Ouvrir la méthode complète

Revendications organisées

Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.

Pas encore de revendications organisées

Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.

Méthodes apparentées

Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.

Taxonomic bucketBERT-based Classificationmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketFine-Tuned Transformermachine-suggested · Relational suggestion, not evidence.Taxonomic bucketRoBERTa-based Classificationmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketSelf-supervised convolutional neural networkmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketSentence Embeddingsmachine-suggested · Relational suggestion, not evidence.

Statut de la preuve

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Sources

2 citations enregistrées, copiées du dossier source de la méthode.

Actions

Ouvrir la page de la méthode
ScholarGate

Une bibliothèque de référence centrée sur le contenu, dédiée aux méthodes de recherche — ce qu'est chaque méthode, comment elle fonctionne et d'où elle vient.

Données ouvertes (CC-BY)

Découvrir

  • Bibliothèque
  • Rechercher des méthodes…
  • Parcourir par domaine
  • Domaines
  • Cheminement
  • Comparer
  • Quelle méthode ?

Référence

  • Disciplines
  • Atlas
  • Glossaire
  • Méthodologie
  • Philosophie

Espace de travail

  • Ma bibliothèque
  • Bureau
  • Chat

Entreprise

  • À propos
  • Tarifs
  • Contact
  • Proposer une méthode

Les entrées sont compilées à partir de sources publiées à titre de référence. Il vous appartient de vérifier l'exactitude et l'adéquation de toute information à votre propre usage.

© 2026 ScholarGate · Bibliothèque de référence des méthodes de recherche
  • Confidentialité
  • Cookies
  • Conditions
  • Supprimer le compte