Gå til indholdScholarGate
BibliotekMit bibliotekSkrivebordReview StudioAssistent
Log ind
Self-supervised Transformer/Bevis
Metodebevisregistrering

Self-supervised Transformer

A self-supervised Transformer is a Transformer network pretrained using automatically constructed supervision signals — such as masked token prediction or next-sentence prediction — rather than human-annotated labels. The resulting representations are then fine-tuned or probed on downstream tasks. BERT, GPT, and ViT (Vision Transformer in masked-image modeling mode) are the most widely known instantiations of this paradigm.

Sources recorded, not reviewed

Kilderegistrering

Citater kopieret ordret fra metodens kilderegistrering. Ingen påstandsniveauverifikation er udledt heraf.

Self-supervised Transformer (Pretraining with Self-generated Supervision)
Taksonomisk metoderegistrering · ml-model / deep-learning
  • Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. · DOI 10.18653/v1/N19-1423
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. · URL
Åbn fuld metode

Kuraterede påstande

Påstande gemt i bevis-loggen, hver med sin egen vurdering.

Ingen kuraterede påstande endnu

Denne visning opfinder ikke en påstandsvurdering, når loggen ingen har.

Relaterede metoder

Genereret fra metodegrafen og vist som maskinelt foreslåede relationer — ingen bevispåstand er udledt.

Taxonomic bucketBERT-based Classificationmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketFine-Tuned Transformermachine-suggested · Relational suggestion, not evidence.Taxonomic bucketRoBERTa-based Classificationmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketSelf-supervised convolutional neural networkmachine-suggested · Relational suggestion, not evidence.Taxonomic bucketSentence Embeddingsmachine-suggested · Relational suggestion, not evidence.

Bevisstatus

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Kilder

2 registrerede citater, kopieret fra metodens kilderegistrering.

Handlinger

Åbn metodeside
ScholarGate

Et indholdsfokuseret opslagsbibliotek over forskningsmetoder — hvad hver metode er, hvordan den fungerer, og hvor den kommer fra.

Åbne data (CC-BY)

Opdag

  • Bibliotek
  • Søg i metoder…
  • Gennemse efter fagområde
  • Fagområder
  • Rejse
  • Sammenlign
  • Hvilken metode?

Reference

  • Fagområder
  • Atlas
  • Ordliste
  • Metodologi
  • Filosofi

Arbejdsområde

  • Mit bibliotek
  • Skrivebord
  • Chat

Virksomhed

  • Om
  • Priser
  • Kontakt
  • Foreslå en metode

Posterne er sammenstillet fra publicerede kilder til reference. Det er dit eget ansvar at kontrollere, at oplysningerne er korrekte og egnede til din anvendelse.

© 2026 ScholarGate · Et opslagsbibliotek over forskningsmetoder
  • Privatliv
  • Cookies
  • Vilkår
  • Slet konto